Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

AWK comment recuperer (ou pas) le retour d'une fonction

philoeil

Bonjour,

Merci Kamaris Je suis Fan de tes explications qui m’apprennent toujours plein de choses et me font réfléchir.

J'ai donc Cogita retractare solve (revu, réfléchi Resolu)

Kamaris a écritMais de toutes façons, il faut plutôt voir là une incitation à faire autrement : l'appel de fonctions shell depuis awk ne devrait pas avoir lieu, c'est le signe d'un problème de conception en amont.

Tout à fait juste :
Je me suis aperçu que je pouvais plus facilement obtenir la taille des fichiers simplement en rajoutant 1 champs taille à ma premiere extraction qui récupère les doublons.

Donc c’est résolu.

Pour information et revenir sur le code de résolution du problème
dans 1 partie 1 j’ai rajouté Size que je récupère plus loin dans le champs 3

find "$REP" -name "[^.]*" -type f -size +"$TailleMo"M -printf "%h*%f*%s* %c* dernier accès le %AA %Ad %AB %AY à %AH:%AM:%AS* " -exec  /usr/bin/md5sum -b {} \;| sort -n -t ";" -k 6,2 > "$CheminActionDbl/$FILE2"

while read file2; do
DOUBLON2=1
echo "§§§§§§  Empreinte MD5 identique pour : $file2 des fichiers suivants :" 2>&1 | tee -a "$CheminActionDbl/ActionDoublons.txt"
	 grep $file2 "$CheminActionDbl"/"$FILE2" | cut -d'*' -f 1,2,3 | sed -e "s/*/ § /g" 2>&1 | tee -a "$CheminActionDbl/ActionDoublons.txt"
done <"$CheminActionDbl/FILE3"

Le champs 3 etant l’info size
Que je récupère ici en colonne 3

§§§§§§  Empreinte MD5 identique pour : 0cbbff1c0f1c5bdc5ce8e2b8f483e560 des fichiers suivants :
Racine/Rep2.3DossierNormal § F2.3FichTexte1.txt § 6037
Racine/REPORIAvecFichierPb § FOri2_FichTexte1.txt § 6037
§§§§§§  Empreinte MD5 identique pour : 10a6ada757ec577d3a3db0654dd60a45 des fichiers suivants :
Racine § F2.CpBBID2_EspaceApresNef.nef  § 27409633
Racine/Rep2.2 Espace Doublons  § F2.2 CpBBID2_EspaceApresNef.nef  § 27409633
Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § F2.2.2.1 CpBBID2_EspaceApresNef.nef  § 27409633
Racine/Rep2foisDblons § F2.X2.2.1 CpBBID2_EspaceApresNef.nef  § 27409633
Racine/Rep2foisDblons § FOrig2.1 CpBBID2_EspaceApresNef.nef  § 27409633
Racine/REPORIAvecFichierPb § FOrig2.1 CpBBID2_EspaceApresNef.nef  § 27409633
§§§§§§  Empreinte MD5 identique pour : 93243bbb48aa8de88968bee06e6c8c9b des fichiers suivants :
Racine § F2BBID1_1 espaceApresJpg.jpg  § 13757937
Racine/Rep2.2 Espace Doublons  § F2.2BID1_1espaceApresJpg.jpg  § 13757937
Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § F2.2.2.1BBID1_1 espaceApresJpg.jpg  § 13757937
Racine/Rep2foisDblons § F2.1X2_BBID1_1 espaceApresJpg.jpg  § 13757937
Racine/Rep2foisDblons § FOri2.1BBID1_1 espaceApresJpg.jpg  § 13757937
Racine/REPORIAvecFichierPb § FOri2.1BBID1_1 espaceApresJpg.jpg  § 13757937
§§§§§§  Empreinte MD5 identique pour : d3fad710647642c327aceeec1b773a71 des fichiers suivants :
Racine § F2_F07 Fichier avec espaces.mp3 § 6849810
Racine/Rep2.2 Espace Doublons  § F2.2_F07 Fichier avec espaces.mp3 § 6849810
Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § F2.2.2.1_F07 Fichier avec espaces.mp3 § 6849810
Racine/REPORIAvecFichierPb § FOri2.1_F07 Fichier avec espaces.mp3 § 6849810
§§§§§§  Empreinte MD5 identique pour : f6638c0e380e1a9a89b026c2f33600f9 des fichiers suivants :
Racine/Rep2.2 Espace Doublons  § FichierTxt3.txt § 17
Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § FichierTxt3.txt § 17
Racine/Rep2.3DossierNormal § FichierTxt3.txt § 17
Racine/REPORIAvecFichierPb § FOri2_FichierTxt3.txt § 17

LE code de l’étape 5 modifié qui en découle :

# --------------------------------------------- INFO 5 Taille des fichiers à supprimer4 ---------------------------------------------------------

awk 'BEGIN { print "\n ---------Début de Info5 Calcul taille des fichiers : "; FS=" § " }
{
	 if (/^\s*§+/) { next }
	 else
		 #	 printf ("la variable $3 taille est actuellement  : ") $3;


	 { NomRep[$1]=$1; TailleFic5[$1]=$3 

printf ("\nRepsSourceVariable :" $RepSource  "Taille :"$3);
	TotalTaille=TailleFic5[$1]+TotalTaille	 
}
} 

END { print "\n terminé Total " TotalTaille }' "$REP"

Le resultat :

phil@phil-G750JH:~/Documents/JeCodeShell/TestAWK$ ./Inf5.5.sh
 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
				Lancement ./Inf5.5.sh (V25.RepDoubl.sh) 

$REP=/home/phil/Documents/JeCodeShell/TestAWK/MemActions/ActionDoublons.txt
$RepSource/home/phil/Documents/JeCodeShell/TestAWK/Racine

 ---------Début de Info5 Calcul taille des fichiers : 

RepsSourceVariable :Racine/Rep2.3DossierNormal § F2.3FichTexte1.txt § 6037Taille :6037
RepsSourceVariable :Racine/REPORIAvecFichierPb § FOri2_FichTexte1.txt § 6037Taille :6037
RepsSourceVariable :Racine § F2.CpBBID2_EspaceApresNef.nef  § 27409633Taille :27409633
RepsSourceVariable :Racine/Rep2.2 Espace Doublons  § F2.2 CpBBID2_EspaceApresNef.nef  § 27409633Taille :27409633
RepsSourceVariable :Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § F2.2.2.1 CpBBID2_EspaceApresNef.nef  § 27409633Taille :27409633
RepsSourceVariable :Racine/Rep2foisDblons § F2.X2.2.1 CpBBID2_EspaceApresNef.nef  § 27409633Taille :27409633
RepsSourceVariable :Racine/Rep2foisDblons § FOrig2.1 CpBBID2_EspaceApresNef.nef  § 27409633Taille :27409633
RepsSourceVariable :Racine/REPORIAvecFichierPb § FOrig2.1 CpBBID2_EspaceApresNef.nef  § 27409633Taille :27409633
RepsSourceVariable :Racine § F2BBID1_1 espaceApresJpg.jpg  § 13757937Taille :13757937
RepsSourceVariable :Racine/Rep2.2 Espace Doublons  § F2.2BID1_1espaceApresJpg.jpg  § 13757937Taille :13757937
RepsSourceVariable :Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § F2.2.2.1BBID1_1 espaceApresJpg.jpg  § 13757937Taille :13757937
RepsSourceVariable :Racine/Rep2foisDblons § F2.1X2_BBID1_1 espaceApresJpg.jpg  § 13757937Taille :13757937
RepsSourceVariable :Racine/Rep2foisDblons § FOri2.1BBID1_1 espaceApresJpg.jpg  § 13757937Taille :13757937
RepsSourceVariable :Racine/REPORIAvecFichierPb § FOri2.1BBID1_1 espaceApresJpg.jpg  § 13757937Taille :13757937
RepsSourceVariable :Racine § F2_F07 Fichier avec espaces.mp3 § 6849810Taille :6849810
RepsSourceVariable :Racine/Rep2.2 Espace Doublons  § F2.2_F07 Fichier avec espaces.mp3 § 6849810Taille :6849810
RepsSourceVariable :Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § F2.2.2.1_F07 Fichier avec espaces.mp3 § 6849810Taille :6849810
RepsSourceVariable :Racine/REPORIAvecFichierPb § FOri2.1_F07 Fichier avec espaces.mp3 § 6849810Taille :6849810
RepsSourceVariable :Racine/Rep2.2 Espace Doublons  § FichierTxt3.txt § 17Taille :17
RepsSourceVariable :Racine/Rep2.2 Espace Doublons /Rep2.2.2.1 Doss Espace § FichierTxt3.txt § 17Taille :17
RepsSourceVariable :Racine/Rep2.3DossierNormal § FichierTxt3.txt § 17Taille :17
RepsSourceVariable :Racine/REPORIAvecFichierPb § FOri2_FichierTxt3.txt § 17Taille :17
 terminé Total 274416802
phil@phil-G750JH:~/Documents/JeCodeShell/TestAWK$

Merci,
J'espère ne pas être trop long ... en même temps cela m'aide à me recentrer et prendre des notes..

kamaris

Il y a eu un bel assainissement 🙂
Plus d'appel à des commandes externes depuis awk, une bonne commande find en amont, qui utilise le %s de printf au lieu d'appeler wc -c…

Je ne vois juste pas trop ce que fait le sort -n -t ";" -k 6,2 : j'imagine qu'il doit y avoir des ; dans tes noms de fichiers ?
Juste quelques remarques sur le code bash sinon :

pour une lecture sûre des lignes de "$CheminActionDbl/FILE3" :

while IFS='' read -r file2; do

pour un grep sûr avec $file2 comme motif ensuite :

grep -F "$file2" …

à quoi sert le DOUBLON2=1 au-dessus ?

philoeil

Bonjour,
Je te remercie, je ne maitrisais pas assez le code shell pour repérer ces erreurs.

Kamaris a écritJe ne vois juste pas trop ce que fait le sort -n -t ";" -k 6,2 : j'imagine qu'il doit y avoir des ; dans tes noms de fichiers ?

Oups ! Bien vu des * sont utilisés comme séparateurs de champs et plus des points virgules
et -k 6,2 c’est n’importe quoi !
J’ai corrigé

find "$REP" -name "[^.]*" -type f -size +"$TailleMo"M -printf "%h*%f*%s* %c* dernier accès le %AA %Ad %AB %AY à %AH:%AM:%AS* " -exec  /usr/bin/md5sum -b {} \;| sort -n -t "*" -k 6,6 -n > "$CheminActionDbl/$FILE2"

Kamaris a écrit pour une lecture sûre des lignes de "$CheminActionDbl/FILE3" :
while IFS='' read -r file2; do
• pour un grep sûr avec $file2 comme motif ensuite :
grep -F "$file2" …

Je corrige

while IFS='' read -r file2; do

DOUBLON2=1
echo "§§§§§§  Empreinte MD5 identique pour : $file2 des fichiers suivants :" 2>&1 | tee -a "$CheminActionDbl/ActionDoublons.txt"
grep -F $file2 "$CheminActionDbl"/"$FILE2" | cut -d'*' -f 1,2,3 | sed -e "s/*/ § /g" 2>&1 | tee -a "$CheminActionDbl/ActionDoublons.txt"
done <"$CheminActionDbl/FILE3"

if [ "$DOUBLON2" -eq 0 ]
	 then echo "Aucun doublon trouvé"
		  exit 1
#ajout d'un contrôle presence de repertoires avec 100% de doublon 
else
echo "******************************************************************************
Des doublons trouvés lancement de  ScriptRepDoublons (anciennement V25...5RepDoubl.sh) pour générer un fichier qui repérera les répertoires contenant 100% de doublons.
Une part des CPCent n'en sont pas quand les doublons sont dans le même chemin
**********************************************************************************************"
cp -v "$CheminActionDbl/ActionDoublons.txt" "$RepSource/"ActionDoublons.txt
echo "copie $CheminActionDbl/ActionDoublons.txt vers $RepSource/ActionDoublons.txt"
 RepDoublons=$(awk 'BEGIN { FS=";" }
$1=="#NomDesProgrammes.sh" { print $4 }
END {} ' $chemin/configAspi.txt)
echo '$RepDoublons='"$RepDoublons"
"$chemin/$ScriptRepDoublons" "$CheminActionDbl""/ActionDoublons.txt" "$RepSource"


fi

à quoi sert le DOUBLON2=1 au-dessus ?

Objectif de cette partie
Si DOUBLONS2=0 in n’y a pas de doublons détectés
Si présence de doublons DOUBLONS2 passe à 1
(Il y avait sans doute mieux mais c’est tout ce que j’avais en tête )

Merci

kamaris

Pour le sort, je ne suis pas sûr que ça fasse bien ce que tu veux.
Si j'ai bien suivi, il s'applique au md5sum, donc à une suite de 16 octets codés en hexadécimal.
Il me semble donc qu'un simple tri alphanumérique caractère par caractère ferait l'affaire : sort -t "*" -k 6.

Attention pour le grep, à bien mettre des guillemets autour du motif $file2, car si jamais il contient des espaces, grep va être perdu : grep -F "$file2" …

Pour le DOUBLON2=1, c'est une possibilité oui, c'est juste que ça fait bizarre de répéter l'affectation de variable autant de fois qu'il y a de lignes dans "$CheminActionDbl/FILE3".
Tu pourrais le sortir de la boucle while en mettant un test avant :

test -s "$CheminActionDbl/FILE3" && DOUBLON2=1

Mais en l'occurrence, tu ne sembles pas te servir de $DOUBLON2 ailleurs que dans le test qui suit la boucle while.
Si tel est bien le cas, il pourrait être supprimé :

if ! [ -s "$CheminActionDbl/FILE3" ]; then
  echo "Aucun doublon trouvé"
  exit 1
else
  while IFS='' read -r file2; do
    echo "§§§§§§  Empreinte MD5 identique pour : $file2 des fichiers suivants :" 2>&1 | tee -a "$CheminActionDbl/ActionDoublons.txt"
    grep -F "$file2" "$CheminActionDbl"/"$FILE2" | cut -d'*' -f 1,2,3 | sed -e "s/*/ § /g" 2>&1 | tee -a "$CheminActionDbl/ActionDoublons.txt"
  done <"$CheminActionDbl/FILE3"

  echo "******************************************************************************
  Des doublons trouvés lancement de  ScriptRepDoublons (anciennement V25...5RepDoubl.sh) pour générer un fichier qui repérera les répertoires contenant 100% de doublons.
  …
fi

philoeil

Bonjour,
Merci Kamaris pour ton aide,

Kamaris a écritPour le sort, je ne suis pas sûr que ça fasse bien ce que tu veux.
Si j'ai bien suivi, il s'applique au md5sum, donc à une suite de 16 octets codés en hexadécimal.
Il me semble donc qu'un simple tri alphanumérique caractère par caractère ferait l'affaire : sort -t "*" -k 6.

Tu as raison, je corrige
De plus Je n’avais pas bien compris la syntaxe je croyais qu’il fallait faire -k 6,6 (Le second 6 donnant le type (numérique, alphanum, etc...)

Kamaris a écritAttention pour le grep, à bien mettre des guillemets autour du motif $file2, car si jamais il contient des espaces, grep va être perdu : grep -F "$file2" …

Bien vu (je le savais et c’est une erreur)

Kamaris a écritPour le DOUBLON2=1, c'est une possibilité oui, c'est juste que ça fait bizarre de répéter l'affectation de variable autant de fois qu'il y a de lignes dans "$CheminActionDbl/FILE3".
Tu pourrais le sortir de la boucle while ….tu ne sembles pas te servir de $DOUBLON2 ailleurs que dans le test qui suit la boucle while.
Si tel est bien le cas, il pourrait être supprimé :

100 fois bien vu
Je corrige
Je ferai le test avant, c'est bien plus performant

Je me disais « existe-t-il quelque part dans le web un « bac à sable » pour codeurs débutants qui permettrai à tout un chacun « débutant » d’exposer son code projet, quasi terminé, et imparfait à l’œil des programmeurs avertis.
Il pourrait en ressortir un best off bêtisier pour rigoler et apprendre,
mais surtout tout le monde en profiterait
Pour les programmeurs aguerris :des idées besoins en développement
Pour les plus faibles : renfort des apprentissages

Au plaisir de te lire

kamaris

Je ne sais pas trop, mais il me semble qu'en gros c'est un peu ce qu'il se passe ici, et sur d'autres forums (ou sections de forums) de ce type.
Il y a en tout cas un endroit où tu peux mettre ton code bash pour recevoir des conseils documentés : https://www.shellcheck.net/
Le programme en question est installable en local depuis les dépôts, et le wiki vers lequel renvoient les liens de documentation est très bien fait.

« Page précédente