Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Comment améliorer cette barre de progression

philoeil

Bonjour,

J'ai essayé de mettre en oeuvre une barre de progression dans un script shell dans une étape ou l'attente de l'édition du résultat de find peut être longue.

Mais ce n'est pas très satisfaisant, le temps défile mais l'estimation de progression est fausse.

Mon script

#!/bin/bash
# les paramètres
REP="/home/phil/Documents/"

find "$REP" -name "[^.]*" -type f -printf "%h*%f*%s*%c* dernier accès le %AA %Ad %AB %AY à %AH:%AM:%AS*" -exec /usr/bin/md5sum -b {} \; | pv -pt -i0.2 -s100 -w 80 | sort -n -t "*" -k 6| awk -F"*" '{ TMo=$3/1048576; printf $1" § "$2 " § " TMo " § " $4 " § " $5 " § " $6 "\n"; }'

Comment améliorer?

Merci

kamaris

C'est essentiellement interne à find la progression que tu cherches à mesurer en fait, je suis pas sûr que ce soit vraiment possible si find ne propose pas lui-même l'option, ce qui n'a pas l'air d'être le cas.
Mais peut-être que je passe complètement à côté de quelque chose, auquel cas je serais curieux de savoir.

philoeil

Merci Kamaris
Attendons et voyons... ce serait un plus sympa...

beuguissime

Bonsoir,

Le problème est que tant que find n'a pas terminé de parcourir l'arborescence, il est difficile de savoir le nombre total d'éléments trouvés et donc de connaître le nombre correspondant à 100%, non ?

kamaris

Ce nombre pourrait être calculé assez rapidement avant de commencer le vrai travail de recherche, mais encore une fois, il faudrait que ce soit find qui le fasse en interne.

philoeil

Merci Beugissime et Kamaris
Pour améliorer je pensais diviser les recherches find par sous répertoire en passant la liste des sous répertoires dans une variables tableau

Mais je ne maitrise pas les variables tableaux et j'échoue lamentablement

Pouvez-vous m'aider à corriger : (en particulier je bute sur "${#ListeREP[@]}" il me renvoie 1 ??

Le pseudo code :

#!/bin/bash
REP="/home/phil/Documents/DonneesPhilAsus/Donnee_permanent/configuration_perso"
# REP="/home/phil/Documents/"
TailleMo=10
# envoie de la liste des fichier dans une variable database
#database=$( find $REP -type d )
touch ./Resultat

# modification de l'IFS pour qu'il passe en saut de ligne
old_IFS=${IFS} IFS=$'\n'
# find "$REP" -type d -printf "%h" | awk -F"\n" '{ printf  $1 "\n"; }' | tee -a "$Resultat"
ListeREP=$( find "$REP" -type d -printf "%h \n" | uniq -d )
echo "Nombre de Rep dans mon tableau : " ${#ListeREP[@]}

for SsREP in "${ListeREP}"
do
   echo 'SsREP='"${SsREP}" 

 # Pour quand cela marchera => find "$SsREP" -name "[^.]*" -type f -size +"$TailleMo"M -printf "%h*%f*%s*%c* dernier accès le %AA %Ad %AB %AY à %AH:%AM:%AS*" -exec /usr/bin/md5sum -b {} \;| sort -n -t "*" -k 6| awk -F"*" '{ TMo=$3/1048576; printf $1" § "$2 " § " TMo " § " $4 " § " $5 " § " $6 "\n"; A}' 

done | pv -pte -i0.2 -s100 -w 80 

IFS=${old_IFS}

Merci

kamaris

Pas sûr que le découpage en répertoires soit beaucoup mieux, mais en tout cas, pour les mettre dans un tableau, c'est :

mapfile -t ListeREP < <(find "$REP" -type d -printf "%h \n" | sort | uniq -d)

NB : j'ai rajouté un sort, qui est nécessaire pour s'assurer que uniq -d fonctionne correctement.

Puis, pour boucler sur les répertoires :

for SsREP in "${ListeREP[@]}"; do
  …
done

philoeil

Merci kamaris

ta solution ajout au tableau fonctionne
mais ce n'est pas satisfaisant la barre de progression ne progresse pas...

J'attends un peu puis je cloturerai le post je ne vois pas de solution

A+

beuguissime

philoeil a écrit J'attends un peu puis je ~~cloturerai~~ le post je ne vois pas de solution

clorai

(à part si tu veux mettre une clôture autour du forum 😃)

Zakhar

[Hors sujet] Pour "find" je ne vois pas non plus, cependant il y a un utilitaire sympa (indispensable !) pour tous les trucs de base qui n'ont pas de barre de progression, c'est pv

Ce que ça fait, essentiellement, c'est que ça "pipe" le fichier spécifié (ou l'entrée standard si aucun) dans la sortie standard, et au passage ça met une barre de progression.

Donc si vous devez faire :

cp gros_fichier /cle_usb/gros_fichier

... et que ça dure des plombes parce que "gros_fichier" fait plusieurs Giga, vous pouvez remplacer par :

pv gros_fichier >/cle_usb/svg_gros_fichier

Et vous aurez une copie du fichier avec une barre de progression.

Note : mais pas les de copie des "metadata" comme cp ou rsync puisque vous créez un nouveau fichier avec votre user avec la commande, donc c'est Ok si vous avez juste besoin de copier le contenu et le owner/date a une moindre importance.

Dans le cas ci-dessus de la copie d'un fichier, pv sait déterminer la taille à copier et donc fera une progression "complète" avec taille estimée, temps d'attente estimé, vitesse de copie.
Pour une utilisation en "pipe" sur la sortie standard, pv ne fera que la vitesse de copie puisqu'il ne sait pas à l'avance le nombre d'octets à transférer.

Autre exemple, pour vérifier votre sauvegarde ci-dessus une fois la copie terminée :

pv gros_fichier | diff -s - /cle_usb/svg_gros_fichier

Cool non d'avoir une "barre de progression" pour cp et diff qui n'en ont pas en standard ! :cool:

kamaris

@Zakhar :

philoeil a écrit

… | pv -pt -i0.2 -s100 -w 80 | …

De l'importance de lire les posts qui précèdent, notamment le premier 😃

PS : cela dit, ton petit exposé n'est pas inutile pour autant 😉

philoeil

Beuggissime a écritclorai

(à part si tu veux mettre une clôture autour du forum

Pas d'accord :
Le verbe clôturer est dérivé du nom clôture, qui est de la même famille que clore. On l'emploie notamment avec le sens propre d'« entourer, fermer avec une clôture ». Clôturer est aussi utilisé en français avec le sens figuré de « terminer ou déclarer terminée une chose », qu'il partage avec clore.
😛

Zakhar

kamaris a écrit@Zakhar :
philoeil a écrit
… | pv -pt -i0.2 -s100 -w 80 | …
De l'importance de lire les posts qui précèdent, notamment le premier 😃

PS : cela dit, ton petit exposé n'est pas inutile pour autant 😉

Ah oui c'est vrai, on peut préciser la taille du "pipe" attendu quand on la connaît, merci @kamaris !

Exemple de pv en "pipe", quand je faisais corriger un affreux bug réseau chez Free (firmware freebox)

Récupérer le fichier de test de débit (ovh par exemple)

$ curl -4 http://ipv4.rbx.proof.ovh.net/files/10Gio.dat -o 10Gio.dat

Là c'est cool, curl affiche sa barre de progression par défaut.
Mais maintenant, on veut comparer les premiers 8Gio avec ce qu'on a téléchargé... en une seule opération, c'est à dire sans faire : télécharger + comparer... et on est gourmands, on veut la barre de progression.
Le problème est que pour ne pas mêler tout, quand on envoie la sortie de curl vers la sortie standard, il n'affiche plus la progression.
Qu'à cela ne tienne, voici une belle barre de progression à nouveau :

(Au passage on montre aussi l'usage des très intéressants fifo pour éviter aussi d'avoir à découper/tronquer notre fichier de 10Gio !)

$ mkfifo f1
$ dd if=10Gio.dat of=f1 bs=1M count=8192 & curl -4s --range 0-8589934591 http://ipv4.rbx.proof.ovh.net/files/10Gio.dat -o - | pv -s8589934592 | diff -s - f1
[1] 99320
8,00GiO 0:01:13 [ 111MiB/s] [===================================================================================================================================================================>] 100%            
Les fichiers - et f1 sont identiques

[1]+  Arrêté                dd if=10Gio.dat of=f1 bs=1M count=8192

On est rassurés, c'est bien identique !

Ah oui, et la fibre de Free ça dépote. C'est bien des méga "octets", pas "bits". Donc on approche la limite théorique du Gigabit là.

Hizoka

Salut,

et un truc du genre ?

echo "Calcul du nombre de fichier en cours"
mapfile -d '' -t Fichiers < <(find "$REP" -name "[^.]*" -type f -printf "%h*%f*%s*%c* dernier accès le %AA %Ad %AB %AY à %AH:%AM:%AS*\0")

for Fichier in "${Fichiers[@]}"
do
  ((x++))
  echo "Traitement du fichier ${x} / ${#Fichiers[@]}"
  /usr/bin/md5sum -b "${Fichier}" \; | pv -pt -i0.2 -s100 -w 80 | sort -n -t "*" -k 6| awk -F"*" '{ TMo=$3/1048576; printf $1" § "$2 " § " TMo " § " $4 " § " $5 " § " $6 "\n"; }'
done

Zakhar

@Hizoka, là ça va faire une progression par fichier et pas un global non ?

@philoeil, principalement ce qui va être faux c'est que le md5sum sur les fichiers dépend essentiellement de leur taille et que pv est "linéaire".
Aussi tu as mis l'option -s100 qui dit à pv qu'il doit s'attendre à 100 octets dans le "pipe", or ce n'est pas ça !.. Le nombre d'octets est ce que va "cracher" find avec les -exec md5sum.
Il faudrait donc faire un premier "find" avec juste les noms de fichiers à traiter. Cela va te donner un nombre de lignes et une taille de caractères. Sachant que la md5sum est une chaîne de longueur constante, tu peux ensuite refaire le traitement avec pv, mais cette fois avec le bon nombre d'octets.
Cependant la progression ne sera "à peu près juste" que si tous tes fichiers à traiter sont à peu près de taille similaire.
Mais imagine l'extrême suivant : tu as un fichier de 200Go et 99 fichiers autour de 10k. Si le gros fichier est en dernier, la barre de progression va avancer comme une fusée à 99% en estimant un temps de terminaison (ETA) super court... puis mettra des plombes à avancer sur le dernier pourcent.
Ou alors pour parer à ça, il faut générer des "caractère inutiles" dans le "pipe" que tu filtres ensuite, histoire de rendre tout cela un peu plus "linéaire" en fonction de la taille des fichiers.

Exemple, tu rajoutes des lignes de 50 caractères # par tranche de 10Mo de chaque fichier au delà des 10 premiers méga (on va dire que la sortie de md5sum vaut pour les 10 premiers mega).
Dans le pipe, après le pv, tu peux aisément filtrer les lignes de # par un simple grep -v.
Tu auras alors quelque chose d'un peu plus "cohérent"...

Sacré challenge ! 😃

philoeil

Bonjour,

Merci Hizoka et Zakhar pour vos messages,

Au vu du résultat imparfait envisageable et à l'énergie à déployer pour ce maigre résultat je vais temporiser:lol:
Je reste pour l'instant avec un temporisateur
tant pis si ce n'est pas très fun!

Merci

(Bon j'attends encore un peu pour clore l'échange, au cas ou une lumière trouve une autre piste ....)

Hizoka

Par rapport à la remarque de Zakhar, on peut alourdir le truc et faire

mapfile -d '' -t Fichiers < <(find "$REP" -name "[^.]*" -type f -printf "%h*%f*%s*%c* dernier accès le %AA %Ad %AB %AY à %AH:%AM:%AS*\0")

TailleTotale=$(du -c "$REP" | sed -n '/total/ s/[[:space:]].*//p')
TailleOK=0

for Fichier in "${Fichiers[@]}"
do
  TailleOK+=$(du "${Fichier}" | sed 's/[[:space:]].*//')
  /usr/bin/md5sum -b "${Fichier}"...
  echo "Progression : ${TailleOK} / ${TailleTotale}"
done

Et pour tout ce qui est style de la barre de progression : https://forum.ubuntu-fr.org/viewtopic.php?id=2052173 (oui c'est de l'auto promotion :p )

Zakhar

@Hizoka, oui, ce n'est pas une barre comme pv, mais si le but est de faire un truc plus régulier par rapport au temps, c'est sans doute mieux ainsi !

philoeil

Bonjour,
J'essaie de tester la dernière proposition d'hizoka mais j'ai une erreur

phil@phil-G750JH:~/Documents/JeCodeShell/BarreProgress$ ./BarreZak1.sh 
du: impossible d'accéder à 'TestBarre1.sh '$'\n''BarreZak1.sh '$'\n': Aucun fichier ou dossier de ce type
/usr/bin/md5sum: 'TestBarre1.sh '$'\n''BarreZak1.sh '$'\n''...': Aucun fichier ou dossier de ce type
Progression : 0 / 24
phil@phil-G750JH:~/Documents/JeCodeShell/BarreProgress$

Pouvez-vous m'aider à resoudre le problème

Le script

#!/bin/bash
# paramètres
REP="/home/phil/Documents/JeCodeShell/BarreProgress"

mapfile -d '' -t Fichiers < <(find "$REP" -name "[^.]*" -type f -printf "%f \n")
TailleTotale=$(du -c "$REP" | sed -n '/total/ s/[[:space:]].*//p')
TailleOK=0

for Fichier in "${Fichiers[@]}"
do
  TailleOK+=$(du "${Fichier}" | sed 's/[[:space:]].*//')
  /usr/bin/md5sum -b "${Fichier}"...
  echo "Progression : ${TailleOK} / ${TailleTotale}"
done

Merci Hizoka

Hizoka

Mauvais copier coller de ma part 🙂

mapfile -d '' -t Fichiers < <(find "$REP" -name "[^.]*" -type f -print0)

Et si tu veux que la progression se fasse sur la même ligne

echo -en "\rProgression : ${TailleOK} / ${TailleTotale} "

Page suivante »