Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

sync. répertoires

herveD

Bonjour,
Je repose les questions suite à la dérive d'un fil ou mal placé: https://forum.ubuntu-fr.org/viewtopic.php?pid=22377558
Je galère depuis plusieurs jours sans vraiment finaliser des synchronisations.
J'étais parti sur grSync puis rsync
2 cas
a) disque source => rep. disque cible
b) rep disque source => rep. disque cible
J'imagine que cela ne change pas grand chose

Ces disques ont des données et je souhaite la copie exacte et accessible avec une synchro auto au moins 1 fois par jour

1/ est-ce que l'on peut lancer une synchro à la mise en veille ou à l'extinction de l'ordinateur ?
2/ est-il possible d'exclure certains dossiers comme "lost+found", ".Trash-1000" , "ress" sans forcément vider la corbeille avant ?
3/ sans éteindre l'ordi, après une mise en veille, les synchro horaire doivent démarrer ? car pas sûr cf:
https://doc.ubuntu-fr.org/anacron#lancement_sans_redemarrer_le_pc
4/ J'ai testé la synchro mais je la trouve très lente même si j'ai indiqué (semble t-il) de by passer les fichiers déja existant sur la cible

** Launching RSYNC command:
rsync -r -t -p -o -g -v --progress --delete --ignore-existing -c -z -s /media/rvnux/multimedia /media/rvnux/donnees-pny

Pour cela j'ai juste renommer un répertoire sur la cible. Ce qui fait que la syncho a supprimée ce dossier et en a recrée un (~20Mo) sur un total de ~ 200 go
Ca mis 100 mn !! est-ce que l'on peut faire mieux ?

herveD

Suite à une réponse sur l'autre fil
2/ https://doc.ubuntu-fr.org/rsync#exclure_des_fichiers

jvcharles

Information en console

man rsync

--archive, -a mode archivage; identique à -rlptgoD (pas -H)
--update, -u force rsync à ignorer tous les fichiers pour lesquels le fichier de
destination existe déjà et avec une date postérieure à celle du fichier de
source. (Si un fichier destination existant a une date égale à celle du fichier
source, il ne sera mis à jour que si les tailles diffèrent.)
toute en mode administrateur

rsync -r -t -p -o -g -v --progress --delete --ignore-existing -c -z -s /media/rvnux/multimedia /media/rvnux/donnees-pny

pour

rsync -av -u --delete -z -s /media/rvnux/multimedia /media/rvnux/donnees-pny

je pense que l'option -s peut-être enlevé.

1-une sauvegarde régulière ce fait très rapidement
2-je ne sauvegarde que mes données personnel, donc inutile
3-numéro 1
4-c'est normal tu transferts en compressant les données avec l'option -z, pourquoi compressé pour 200 go ?

herveD

Bonjour
Merci pour la réponse même si elle est aussi synthétique, je vais reformuler ce que je comprends (l'info en console est trop technique/en anglais pour moi)

4/ vitesse d’exécution
Le plus important est effectivement la vitesse de transfert car peu de fichiers ajoutés ou modifiés au quotidien pour avoir un clone exacte. Je dois pouvoir redémarrer avec (etf4 + luks)
Jusqu'à présent j'avai testé/utilisé grsync . Maintenant j'ai basculé cela dans le crontab
quand du dis

rsync -agv -u --delete -z -s /media/rvnux/multimedia /media/rvnux/donnees-pny

cela veut dire que -agv est une concaténation des commandes individuelles ?
--archive, -a : archive mais est-ce valable si je fais une copie exacte ?

5/ fichiers bloqués
En faisant un transfert manuel hier soir de mon disque source vers disque cible, celle-ci a échoué avec des fichiers ouverts pour des sauvegardes duplicati dans le cloud.
Je me souviens aussi de problème si je ne ferme pas des applications comme Firefox.
Est-ce qu'il y a une possibilité avec rsync de faire cette synchro avec ces fichiers ouverts ?

Les autres moins importantes mais pourrait me servir:
1/ est-ce que l'on peut lancer une synchro à la mise en veille ou à l'extinction de l'ordinateur ?
3/ sans éteindre l'ordi, après une mise en veille, les synchro horaire doivent démarrer ? car pas sûr cf:
https://doc.ubuntu-fr.org/anacron#lance … rrer_le_pc Je dis cela car dans la doc, il est dit

Par défaut, Anacron (et son fichier de config anacrontab) est lancé (par cron) au démarrage du PC. Après l'exécution des commandes paramétrées, anacron se désactive. Si la machine n'est jamais éteinte, le fichier /etc/anacrontab est re-lancé (par cron) tout les matins à 7H30. Ses paramétrages seront donc bien testés et (si nécessaire) appliqués chaque jour. Il est à noter que ce lancement de 7H30 fonctionne même si la machine est en veille, du moins après la sortie de veille (ne marche sans doute pas pour une hibernation, mais à tester).

Hors dans la semaine je n’éteins pas mais je mets en hibernation le pc. Si 1 jour qq a la réponse ?

herveD

bon je me réponds en ayant relue pour la énième fois les différentes pages du wiki mais je les laisse si jeme suis trompé
-a ou --archive : est un moyen rapide de dire que vous voulez la récursivité et préserver pratiquement tout. => donc important
-agv ce serait bien concaténation, je ne sais pas s'il y a des régles ?
peut-être mettre plutôt --delete-after : à la fin du transfert, supprime les fichiers dans le dossier de destination ne se trouvant pas dans le dossier source. (moi: --delete le ferait avant ce qui est moins intéressant )

J'ai mis pour l'instant dans le cron

*/60 * * * * rsync -agv -u --delete "/media/rvnux/multimedia/" /media/rvnux/zDonnees-pny/multimedia/

est-ce qu'il y a un moyen de connaître la durée ou %source prise car si c'est trop long , je vais peut-être faire autrement
3/ en fait lié a anacron et moi je pars sur crontab d'ou peut-être différence (la multiplicité de solution proche entraîne de la confusion chez moi). je ne serai pas concerner ?

maj
Sinon j'ai trouvé une doc en français (dernière ?) : http://www.delafond.org/traducmanfr/man/man1/rsync.1.html
Beaucoup de possibilités d'ou ma question pour savoir si ma commande est bien optimisé maintenant avec mes remarques.
J'ai relancé en surveillant, cela n' pas l'air de trop consommé des ressources. Au bout d'une heure, j'en suis à 100/~200go

beuguissime

dans l'autre fil, beuguissime a écrit Tu dis que la synchro a duré 100 min pour un changement de 20Mo. Il peut y avoir plusieurs explications pour ça. Par exemple, la vitesse de rotation du disque 1 et du disque 2, le nombre de fichiers à parcourir, le système de fichier de la partition 1 et de la partition 2, etc

Si tu peux répondre à ces questions…

herveD

beuguissime a écrit
dans l'autre fil, beuguissime a écrit Tu dis que la synchro a duré 100 min pour un changement de 20Mo. Il peut y avoir plusieurs explications pour ça. Par exemple, la vitesse de rotation du disque 1 et du disque 2, le nombre de fichiers à parcourir, le système de fichier de la partition 1 et de la partition 2, etc
Si tu peux répondre à ces questions…

Ah je venais de faire la mise à jour du dernier commentaire.
J'ai relancé le cron avec la commande mentionnée
En surveillant, cela n'a pas l'air de trop consommé des ressources.
Au bout d'une heure, j'en suis à 100go/~200go de données multimédia

beuguissime

Désolé mais il va falloir faire un effort pour être plus clair dans tes explications car je ne comprends pas ce que tu fais et ni où tu en es.
Tu dis au post 1 que tu fais une synchronisation qui ne doit tirer que 20 Mo du disque source vers le disque cible (et que ça aurait durer des plombes) et là tu parles de nouveau d'un transfer de 200 Go. ???

herveD

Désolé mais je ne vais pas pouvoir éclaircir plus ce coup-ci
j'y ai passé au moins 8 heures depuis hier. Ce qui fait que seule les questions depuis le #4 sont valables (avec mes maj) et j'ai mis
la commande https://forum.ubuntu-fr.org/viewtopic.php?pid=22378853#p22378853
Si c'est possible d'améliorer ce temps puisque rsync a l'air d'être la meilleure solution?

beuguissime

herveD a écrit Si c'est possible d'améliorer ce temps puisque rsync a l'air d'être la meilleure solution?

Je retente encore une fois

beuguissime a écrit
dans l'autre fil, beuguissime a écrit Tu dis que la synchro a duré 100 min pour un changement de 20Mo. Il peut y avoir plusieurs explications pour ça. Par exemple, la vitesse de rotation du disque 1 et du disque 2, le nombre de fichiers à parcourir, le système de fichier de la partition 1 et de la partition 2, etc
Si tu peux répondre à ces questions…

herveD

sync. répertoire multimedia:
Disque source 5" 1/4 - 500 go : NTFS, plus de 5 ans
Disque cible PNY PRO ELITE - 500go : etf4 + luks, moins de 2 ans
nombre de fichiers 5700 fichiers / 200 go

sync disque données
Disque source SSD 250go: etf4 + luks, moins d'un an
Disque cible WDC WD3200BEKT- 320g: etf4 + luks, + de 7 ans
nombre de fichiers: 470 700 fichiers / 120 go

C'est pour cela que j'aimerai bien aussi tracer les erreurs ou le temps total pour prendre les bonnes décisions car 5/ peur de perdre des fichiers ?
J'ai essayé différentes solutions comme

/ >> /home/rvnux/cron.log

mais le fichier reste désespéramment vide !

beuguissime

Merci !

Je ne sais pas dans quelle mesure le chiffrement ralenti la synchronisation. C'est forcément pénalisant mais est-ce que ça peut expliquer un ralentissement perceptible ?
Faire une synchro sur presque 500000 fichiers ne va pas se faire en un battement de cils. rsync doit construire la liste des fichiers et pour chacun d'entre eux regarder si le fichier est sur la cible et si oui, s'il a les même horodatages. C'est coûteux.

Quand tu auras fini une première copie conforme (je comprends que c'est ce que tu es en train de faire) et quand tu auras testé (et correctement chronométré) une nouvelle synchronisation, alors tu nous diras le temps mis.

herveD

Bonjour,
Bon la synchro disques données (la + importante) est terminée mais je suis incapable de dire la durée (trop tard)
En faisant propriétés , j'obtiens les infos suivantes sur
Disque cible, je vois:
473722 éléments, totalisant 117,9 GB (certains contenus sont impossibles à lire! bon mais je vois la même chose sur le disque source :rolleyes:)
Disque source:
473827 éléments, totalisant 118,6 GB

je m’aperçois d'emblée que certains fichiers verrouillés (duplicati ...) n'ont pas été copiés d'ou ma question la plus importante que je remets ici cf
5/ fichiers bloqués
Est-ce qu'il y a une possibilité avec rsync de faire cette synchro avec ces fichiers ouverts ?

6/ est-ce qu'il y a un moyen d'avoir un log (fichiers non sauvegardés ? durée de la sauvegarde ?
J 'ai essayé différentes solutions comme

.... / >> /home/rvnux/cron.log

mais le fichier reste désespéramment vide !

7/ est-ce que l'on peut lancer une synchro à la mise en veille (pas fermeture de la session), et si possible de fermer des applications comme firefox , thunderbird qui doivent verrouillés des fichiers. ?
@+

beuguissime

Bonjour,

Je viens de noter qu'un des disques est en NTFS, ce système de fichiers (qui est fermé, propriétaire, spécifique à Windows) offre de piètres performances en lecture/écriture sous Ubuntu et peut poser problème avec rsync. Donc faut peut-être pas s'étonner des lenteurs.

Fichiers verrouillés ? Quésako ? Ils ne t'apparatiennent pas, c'est ça ? Comment sont-ils générés ? Donc soit tu règles le problème d'appartenance, soit tu lances rsync avec sudo.

Sous linux, un fichier ouvert par un programme n'est pas bloqué. Tu peux le lire avec un autre problème, tu peux même le supprimer. rsync s'en fiche un peu que ton fichier soit utilisés par Firefox ou Thunderbird.

herveD

Salut
Merci pour ton suivi.
Je parlais de la synchro disque données. je me concentre la dessus car plus important . Dans ce cas tout les disques sont récent ou NTFS

J'ai testé , je ne peux pas supprimer ou renommer la base duplicati.
Je ne peux pas parcourir l'ensemble des fichiers. J'ai juste regardé ce qui posait déjà problème si je faisais un copier/coller de répertoire.
Il y a donc bien plusieurs fichiers qui ne sont pas sur la cible.
D'ou mes questions pour tracer car autant j'ai pu faire quelques tests cron sur des répertoires de test; Autant sur un disque je ne peux faire approximatif.
Si toi ou qq d'autres connaissait al réponse aux questions, cela me permettrait de lever l'incertitude 🙂

beuguissime

J'insiste si tu fais de la synchro rsync impliquant une ou deux partitions en NTFS, il ne faudra pas t'étonner (et te plaindre) des lenteurs.

Je redemande :

beuguissime a écrit Fichiers verrouillés ? Quésako ? Ils ne t'apparatiennent pas, c'est ça ? Comment sont-ils générés ? Donc soit tu règles le problème d'appartenance, soit tu lances rsync avec sudo.

et j'ajoute qu'appelles-tu “la base duplicati” ?

Si tu pouvais donner, avec tous les disques impliqués dans la synchro branchés

sudo lsblk -ft

et ensuite

ls -lh /chemin/vers/fichier/verrouille
ls -lh /chemin/vers/autre/fichier/verrouille
ls -lh /chemin/vers/base/duplicati

en adaptant les commandes ci-dessus avec les bons chemins.

herveD

Merci pour l'avertissement pour le NTFS. C'est sur en plus c'est un vieux disque même si c'est la source. C'est pour cela que je fais la sauvegarde .

j'ai extrait (tellement il y a de données) pour donner l'essentiel des 2 disques données impliqués dans la syncrho principal

loop28 squashfs                                                             0   100% /snap/core20/634                                   0    512        0     512     512    0 mq-deadline     256 128    0B
loop29 squashfs                                                             0   100% /snap/gtk-common-themes/1514                       0    512        0     512     512    0 mq-deadline     256 128    0B
sda    crypto_LUKS               47d62e75-c283-4b8b-90bc-f2df2fc205e0                                                                   0   4096        0    4096     512    1 mq-deadline      60 128   32M
└─luks-47d62e75-c283-4b8b-90bc-f2df2fc205e0
       ext4        donnees       8f3d86c5-1dc5-4b45-af24-4c4af3566e70  104,9G    49% /media/rvnux/donnees                               0   4096        0    4096     512    1                 128 128    0B
sdb                                                                                                                                     0    512 33553920     512     512    1 mq-deadline      60 128   32M
└─sdb1 crypto_LUKS               f2f923b4-928e-4b22-8b85-9efa703b0919                                                                   0    512 33553920     512     512    1 mq-deadline      60 128   32M
  └─luks-f2f923b4-928e-4b22-8b85-9efa703b0919
       ext4        zDonnees-sync dab37773-87b0-4aa3-8bce-895c95b9c634  166,5G    38% /media/rvnux/zDonnees-sync                         0    512 33553920     512     512    1                 128 128    0B

Pour le reste, dans cette synchro je n'ai que le fichier sqlite de l'application duplicati que j'ai vérifié. Pour les autres problèmes de transfert, je me souviens d'avoir eu des messages d'erreur en faisant un copier/coller d'un répertoire firefox d'un disque eft4+luks mais là je ne sais pas ou retrouvé ces fichiers tellement c'est enfoui dans la masse

ls -lh "/media/rvnux/donnees/Com. informat./Appli-donnees-actives/duplicati/HDInfAutre.sqlite"
-rw------- 1 root root 166M nov.  28 13:20 '/media/rvnux/donnees/Com. informat./Appli-donnees-actives/duplicati/HDInfAutre.sqlite'
rvnux@ordi:~$ ls -lh "/media/rvnux/donnees/Com. informat./Appli-donnees-actives/Firefox/key3.db"
-rw-rw-r-- 1 rvnux rvnux 16K janv. 27  2018 '/media/rvnux/donnees/Com. informat./Appli-donnees-actives/Firefox/key3.db'

c'est le 1er qui est verrouillé, l'autre a priori passe!
Bon je sors. Merci pour l'aide

beuguissime

Merci.
Donc c'est bien ce à quoi je pensais. Certains fichiers appartiennent à root (utilisateur et groupe) et ne sont lisibles/modifiables que par root. Donc en lançant rsync avec l'utilisateur courant (rvnux ?), rsync va se casser les dents lorsqu'il traitera ces fichiers.

Donc :

soit tu sais pourquoi ces fichiers appartiennent à root et ils doivent effectivement le rester, dans ce cas il faudra lancer rsync via sudo ou exclure ces fichiers de la synchronisation

soit ces fichiers doivent/peuvent appartenir à l'utilisateur courant (si tu ne sais pas pourquoi ils sont à root, cherche à comprendre la raison et à résoudre le problème) et dans ce cas, tu fais en sorte que le propriétaire et le groupe propriétaire redeviennent rvnux et rsync ne bloquera plus dessus

Pour les fichiers modifiés en cours de route, il me semble que rsync va simplement se plaindre en disant qu'il a détecté une modification mais il synchronisera quand même. Si quelqu'un suivant le fil pouvait confirmer ??

herveD

Bonsoir
Ben non je ne sais pas pourquoi ces fichiers ont ces droits.
Ce sont des fichiers qui appartiennent à des applications.
Sinon je pense que c'est une bonne piste de faire un crontab -e avec sudo si cela peut résoudre le problème des verrous et ne pose pas de problème.
Pour l'instant i lest vide. je vais faire le test ce soir
si qq a des réponses aux autres questions 6/ et 7/ notamment pour tracer les erreurs de sauvegarde de fichier et le temps que cela va prendre ?
@+

herveD

Bonjour
Synchro s'est bien passé; j'ai trouvé la cmd >> /home/rvnux/cron.log 2>&1 qui permet d'enregistrer les logs+erreurs
Mais le fichier fait plus de 1,5mo donc illisible pour moi mais à priori le fichier duplicati est bien passé.
Est-ce qu'il y aurait une commande pour uniquement les erreurs de transfert de fichiers ?

D'autre part pour la vitesse, je vois à la fin

sent 4,910,490,416 bytes received 496,592 bytes 32,203,193.50 bytes/sec
total size is 118,208,898,756 speedup is 24.07

cela voudrait dire que le transfert ou parcours se ferait à environ 3,2go/s !??

pour infos, je peux confirmer qu'en mode veille, la synchro ne se fait pas
@+

Page suivante »