Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Monitoring de la commande dd

lanfust

Bonjour,

Quand je copie un disque dur je me sers souvent de la commande dd

J'ai deux questions concernant le monitoring

Pour voir l'avancé de la copie je fais comme ceci

sudo dd if=$source of=$pathToUsb bs=4M conv=fdatasync status=progress

et j'obtiens le message suivant :
2969567232 octets (3,0 GB, 2,8 GiB) copiés, 22 s, 134 MB/s

question :
1- si je veux récupérer uniquement le chiffre des octets comment puis je procéder ?
J'ai ajouté une commande pour le copier dans un fichier mais ce n'est pas trop ce que je veux.

sudo dd if=$source of=$pathToUsb bs=4M conv=fdatasync status=progress > capture.txt 2>&1

S'il y a vait une solution pour copié à la volée le chiffre des octets dans une variable ?

2- quand la copie se termine , dd n'a pas encore fini de s'exécuter puisqu'il fait un sync
Mais là pas de monitoring ;
Y-a-t-il une commande à ajouter qui peut montrer l'avancé de la commande sync ?

Merci pour votre aide

MicP

Bonjour

…
1- si je veux récupérer uniquement le chiffre des octets comment puis je procéder ? …

octetsCopies=$(sudo dd if=$source of=$pathToUsb bs=4M conv=fdatasync status=progress 2>&1 | awk 'END {printf ($0+0)}')

Si cette ligne de commande est dans un script,
il vaudrait mieux que ce soit le script qui soit lancé par sudo

octetsCopies=$(dd if=$source of=$pathToUsb bs=4M conv=fdatasync status=progress 2>&1 | awk 'END {printf ($0+0)}')

=======

…
2- quand la copie se termine , dd n'a pas encore fini de s'exécuter puisqu'il fait un sync
Mais là pas de monitoring ;
Y-a-t-il une commande à ajouter qui peut montrer l'avancé de la commande sync ? …

Avec cette ligne de commande en bash lancée dans une autre fenêtre de terminal,
je peux suivre (toutes les demi-secondes) la progression du nombre de secteurs qui ont été écrits
sur le fichier de périphérique dont le nom est dans la variable $pathToUsb

pathToUsb="/dev/sdc"
watch -tn0.5 "awk '/'${pathToUsb##*/}'/ {print \$10}' /proc/diskstats"

lanfust

MicP a écritBonjour

…
1- si je veux récupérer uniquement le chiffre des octets comment puis je procéder ? …

octetsCopies=$(sudo dd if=$source of=$pathToUsb bs=4M conv=fdatasync status=progress 2>&1 | awk 'END {printf ($0+0)}')

Si cette ligne de commande est dans un script,
il vaudrait mieux que ce soit le script qui soit lancé par sudo

octetsCopies=$(dd if=$source of=$pathToUsb bs=4M conv=fdatasync status=progress 2>&1 | awk 'END {printf ($0+0)}')

...

Bonsoir

je viens d'essayer la commande

sudo dd if=$source of=$usb bs=4M conv=fdatasync status=progress 2>&1 | awk 'END {printf ($0+0)}'

mais je n'obtiens rien en sortie
seulement ça à la fin

5,73571e+09

MicP

La commande printf d'awk sur ta machine
ne donne pas le même résultat que sur la mienne.
Change pour :

sudo dd if=$source of=$usb bs=4M conv=fdatasync 2>&1 | awk 'END {print ($0+0)}'

et j'ai ajouté un caractère espace en plus
dans celle là :

pathToUsb="/dev/sdc"
watch -tn0.5 "awk '/'${pathToUsb##*/}' / {print \$10}' /proc/diskstats"

lanfust

MicP a écritLa commande printf d'awk sur ta machine
ne donne pas le même résultat que sur la mienne.
Change pour :

sudo dd if=$source of=$usb bs=4M conv=fdatasync 2>&1 | awk 'END {print ($0+0)}'

et j'ai ajouté un caractère espace en plus
dans celle là :

pathToUsb="/dev/sdc"
watch -tn0.5 "awk '/'${pathToUsb##*/}' / {print \$10}' /proc/diskstats"

je viens de réessayer avec print
mais j'obtiens le même résultat

Bizarre si j'ai bien compris chez toi ça marche ?

MicP

… si j'ai bien compris chez toi ça marche ?

Oui, sur mon système Xubuntu,
j'ai testé toutes les lignes de commandes
avant de les poster dans mes messages.

michel@ubuT450:~$ lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 20.04.1 LTS
Release:	20.04
Codename:	focal
michel@ubuT450:~$

michel@ubuT450:~$ awk --version
GNU Awk 5.0.1, API: 2.0 (GNU MPFR 4.0.2, GNU MP 6.2.0)
Copyright © 1998, 1991-2019 Free Software Foundation.

Ce programme est un logiciel libre ; vous pouvez le redistribuer et le
modifier selon les termes de la licence publique générale GNU (GNU
General Public License), telle que publiée par la Free Software
Foundation ; soit selon la version 3 de cette licence, soit selon une
version ultérieure de votre choix.

Ce logiciel est distribué en espérant qu'il sera utile, mais SANS AUCUNE
GARANTIE, y compris les garanties implicites D'ADAPTATION À UN BUT
SPÉCIFIQUE et de COMMERCIALISATION. Pour plus d'informations à ce
sujet, consultez le texte de la licence publique générale GNU (GNU
General Public License).

Vous devriez avoir reçu copie de la licence publique générale GNU
(GNU General Public License) avec ce programme. Sinon, consultez
http://www.gnu.org/licenses/.
michel@ubuT450:~$

michel@ubuT450:~$ dd --version
dd (coreutils) 8.30
Copyright © 2018 Free Software Foundation, Inc.
License GPLv3+ : GNU GPL version 3 ou ultérieure <https://www.gnu.org/licenses/gpl.fr.html>
Ceci est un logiciel libre. Vous êtes libre de le modifier et de le redistribuer.
Ce logiciel n'est accompagné d'ABSOLUMENT AUCUNE GARANTIE, dans les limites
permises par la loi.

Écrit par Paul Rubin, David MacKenzie et Stuart Kemp.
michel@ubuT450:~$

========
Essaye en spécifiant un format d'affichage à la commande printf d'awk :

octetsCopies=$(sudo dd if=$source of=$usb bs=4M conv=fdatasync 2>&1 | awk 'END {printf "%d", ($0+0)}')
echo -e "Octets copiés\t: $octetsCopies\nSecteurs copiés\t: $(($octetsCopies/512))"

pathToUsb="/dev/sdc"
watch -tn0.5 "awk '/'${pathToUsb##*/}' / {printf \"%d\", \$10}' /proc/diskstats"

Voilà ce que ça donne sur ma machine : (la fenêtre de terminal de droite affiche la progression avec la commande watch)

erresse

Bonjour,
Est-ce que "dcfldd" ou "dc3dd", versions de "dd" qui fournissent des statistiques d'avancement de la copie, pourraient convenir ?

lanfust

finalement voilà la commande

sudo dd if=$source of=$usb bs=4M conv=fdatasync status=progress 2>&1 | stdbuf -o1 tr '\r' '\n' | stdbuf -o1 cut -d' ' -f1 | sed 's/[a-z]*//g

et en sortie on obtient ça

et la commande donnée par @MicP pour mesurer le nombre de secteurs lus fonctionne bien

pathToUsb="/dev/sdc"
watch -tn0.5 "awk '/'${pathToUsb##*/}' / {printf \"%d\", \$10}' /proc/diskstats"

MicP

… pour mesurer le nombre de secteurs lus …

Euh … juste pour dire que le champ N°10 contient les secteurs qui ont été écrits

lanfust

MicP a écrit
… pour mesurer le nombre de secteurs lus …
Euh … juste pour dire que le champ N°10 contient les secteurs qui ont été écrits

merci pour la précision