Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[HowTo] Sauvegarder son "home" avec rsync

m2nis

Effectivement, c'est sûrement la solution la plus simple. Le fichier conserve à priori un avantage supplémentaire (dans le cas de Samba notamment), c'est qu'il permet de vérifier que le répertoire n'est pas vide ET est le bon. On est hélas pas à l'abri d'une erreur hors script...

soupaloignon

m2nis a écritPour l'instant, le moyen que je vois pour parer au problème est d'avoir, à la racine de la source à synchroniser, un fichier au nom unique dont la présence pourrait être vérifiée avant de lancer le rsync. En cas de disque défectueux, le fichier serait donc aussi inaccessible que le reste de l'arborescence et la catastrophe pourrait être évitée. Mais si vous avez d'autres idées, je suis preneur. 🙂

Ca me parait ce qu'il y a de plus simple et d'efficace. En tout cas merci pour ce retour de (malheureuse) expérience

jrev

Bonjour,

J'utilise la ligne

rsync -av --del --stats $SOURCE_DIRS "$TARGET_DIR"

pour sauvegarder mes documents sur une clé USB

Je l'utilise aussi pour sauvegarder ces mêmes documents sur le PC d'à coté via un partage de dossiers NFS

sur NFS le script ne copie que les nouveaux dossiers et efface les dossiers supprimés de la sources et cela prend une ou deux secondes à vérifier s'il n'y a pas de changement, mais la sauvegarde sur clé USB passe systématiquement les dossiers un par un et cela prend un temps considérable.

Je ne vois pas comment expliquer la différence de traitement.
Et vous ?

mixout

.. peut-etre une piste

ta clé USB est en Fat32 ?

jrev

Oui elle est en FAT32 🙂
Suffirait-il de la mettre dans le même type de fichier que les partitions Ubuntu ?

Je vais essayer. Quelle est la commande pour formater en reiserfs ?

mkreiserfs -f ?

mixout

Pas sur ... mais si j'en crois ta commande tu demandes plein de choses à rsync qu'il est incapable de faire avec le systeme de fichiers Fat32

un spécialiste de rsync t'en dira sans doute plus mais j'ai la meme lenteur avec les disques USB.

[EDIT] ah ! si tu rajoutes des éléments à tes posts, mes réponses ne veulent plus rien dire ....

poupoul2

jrev a écritOui elle est en FAT32 🙂
Suffirait-il de la mettre dans le même type de fichier que les partitions Ubuntu ?

Il est vraisemblable que cela résoudrait ton problème (Cf. la doc)
L'utilisation de systèmes de fichiers différents avec rsync n'est pas conseillée, pour cause de pertes potentielles de droits et attributs de fichiers et dossiers (ex. fat32).

jrev

Je ne peux formater ma clé USB en ext3 .

J'enfiche ma clé qui se monte et s'ouvre automatiquement puis je trouve son nom par fdisk -l
je passe ensuite la commande de démontage :

jean@jean:~$ umount /dev/sdf
umount: /dev/sdf n'est pas monté (selon mtab)
jean@jean:~$ mke2fs -j /dev/sda
mke2fs 1.41.4 (27-Jan-2009)
/dev/sda est le périphérique en intégralité, pas seulement une partition !
Procéder malgré tout ? (o,n) o
mke2fs: Permission non accordée lors de la tentative de détermination de la taille du système de fichiers
jean@jean:~$

Où trouver la solution ?
🙂

jrev

La solution est dans Karmic Koala ...

Pour la première fois le menu formater a été ajouté au menu du clic droit sur l'icône de la clé sur le Bureau !

Tout arrive à qui sait attendre :

http://ubuntuforums.org/showthread.php?t=1303504 au post #10

soupaloignon

sinon tu peux utiliser gparted et démonter puis formater ta clé directement à partir du logiciel. Et même la renommer, pratique pour tester sa présence de manière sure avant un rsync

jrev

Merci soupaloignon !
J'ai aussi trouvé sur le forum anglais la formule magique en attendant Karmic Koala :

sudo mkfs -t ext3 /dev/sdx

le sdx à préciser par la commande

sudo fdisk -l

Je peux maintenant utiliser cette clé en ext3 pour sauvegarder mes données et ne rajouter que les nouveaux fichiers dans la sauvegarde.
Bonne journée à tous 🙂

caspual

Salut à tous

Je voudrais faire une sauvegarde à distance par rsync et ssh, rsync et ssh fonctionne déja.
Comme les données font +60 Go, j'ai tout d'abord fait une copie par DD amovible, en reiserfs sur tous les supports (que du Linux donc).
Une fois à la maison, j'ai fais des essais de sauvegarde rsync, seule différence devrait être copié, mais rsync me fait systématiquement une sauvegarde complète, même un fichier datant de 2005 est copié, je le stoppe à chaque fois et fait d'autres essais, sans succés. Voici ma ligne de commande :

rsync -e 'ssh' -rltzvu --size-only --force --progress --ignore-errors --delete --partial caspual@ip_du_serveur::dossier /home/caspual/sauvegarde

En principe, avec size-only, il ne devrait pas copier les anciens fichiers, où est mon erreur ?

@+

jrev

Pourquoi n'utilises-tu pas la ligne

rsync -av --del --stats $SOURCE_DIRS "$TARGET_DIR"

Ça paraît bien compliqué ta ligne de synchronisation 😃
Tu pourrais peut-être la simplifier :/

caspual

Salut

Au début je n'avais que :
rsync -avz --del source destination

C'est pour résoudre mon pbme que j'ai créé cette ligne, je la simplifierai à nouveau dés que ça marche.

@+

Totor

koderez a écrit[...]

#!/bin/bash

afficheTaille () {
  taille=$(sed '/\./! s/^.*$/&.00/' <<< $1)
  i=1
  while [[ ${#taille} -ge 7 ]]; do
    taille=$(bc <<< "scale=2;$taille/1024")
    ((i+=1))
  done

  case $i in
    1) taille+=" octets" ;;
    2) taille+=" Ko" ;;
    3) taille+=" Mo" ;;
    4) taille+=" Go" ;;
  esac

  echo $taille
}

CHOIX=`zenity --list --radiolist --width=300 --height=250 --title="svgrd" --text="Choix du périphérique de sauvegarde" --hide-column=2 \
  --column "" --column "" --column "Périphériques" \
  TRUE        1           "Disque interne" \
  FALSE       2           "Disque Externe"`

if [ "$?" = 1 ]; then
  zenity --info --title="svgrd" --text="Opération annulée."
  exit
fi

case $CHOIX in
  1) UUID=bcd7940f-f0ca-44a1-bb21-c2b060f68fac
     MOUNT=/media/svgrd
     ;;
  2) UUID=9db17bd1-d105-4e6a-b5c9-d0a68f69f8eb
     MOUNT=/media/svgrd_extern
     ;;
esac

SRC=$HOME
DEST=$MOUNT/$USER
RSYNC_ERR=/tmp/rsync.err

if [[ ! -e /dev/disk/by-uuid/$UUID ]]; then
  zenity --error --title="svgrd" --text="Périphérique de sauvegarde absent."
else
  MOUNT_ERR=$(mount $MOUNT 2>&1)
  MOUNT_ES=$?
  if [[ ( $MOUNT_ES -ne 0 ) && ( $MOUNT_ES -ne 32 ) ]]; then # 32=déjà montée
    zenity --error --title="svgrd" --text="Problème lors du   montage du périphérique de\nsauvegarde \"$MOUNT\".\n\n<span color='red'><b>mount erreur n° $MOUNT_ES</b>.\n$MOUNT_ERR</span>"
  else
    echo "0" > nb
    DEBUT=$(date +%s)

    rsync -av --delete --ignore-errors --force --progress \
    --filter "- .aMule/Incoming/" \
    --filter "- .cache/" \
    --filter "- .thumbnails/" \
    --filter "- lost+found/" \
    --filter "- Musique/" \
    --filter "- Vidéos/" \
    --filter "- *~" \
    --filter "- *.avi" --filter "- *.AVI" \
    --filter "- *.log" --filter "- *.LOG" \
    --filter "- *.mp3" --filter "- *.MP3" \
    --filter "- *.vdi" --filter "- *.VDI" \
    --filter "- *.wma" --filter "- *.WMA" \
    $SRC/ $DEST/ 2>>$RSYNC_ERR | sed '
    /to-check=/! {
      /^sending/  {d;q;}
      /\/$/       {d;q;}
      /^sent/     {s/^.*$/echo "&" \>\/tmp\/rapport\.txt/e;d;q;};
      /^total/    {s/^.*$/echo "&" \>\>\/tmp\/rapport\.txt/e;d;q;};
      /^.\{43\}/  {s/\(^.\{20\}\).*\(.\{20\}$\)/echo \$\(\(\$\(cat nb\) + 1\)\) \> nb; echo "\1\[...\]\2" \>\/tmp\/svgrd_sed\.txt/e;d;q;};
      /^.\{43\}/! {s/^.*$/echo \$\(\(\$\(cat nb\) + 1\)\) \> nb; echo "&" \>\/tmp\/svgrd_sed\.txt/e;d;q;};
    }
    /to-check=/ {
      s/.*=\(.*\)\/\(.*\))/echo "#`echo "scale=2;\(\2-\1\)\*100\/\2" | bc | cut -d\. -f1`% (\$\(\(\2 - \1\)\) fichiers sur \2\) > \$\(cat \/tmp\/svgrd_sed\.txt\)"\; echo "scale=2;\(\2-\1\)\*100\/\2" | bc/e
    }
    ' | zenity --progress --width=580 --title="svgrd - synchronisation" --text="Initialisation de la sauvegarde..." --percentage=0 --auto-close &

    while true; do
      sleep 1
      if [ -z "$(pidof zenity)" ]; then
        pkill rsync
        break
      fi
    done

    FIN=$(date +%s)
    TEMPS=$(($FIN-$DEBUT))
    TP_HEU=$(sed 's/^.$/0&/' <<< $(($TEMPS/3600)))
    TP_TMP=$(($TEMPS%3600))
    TP_MIN=$(sed 's/^.$/0&/' <<< $(($TP_TMP/60)))
    TP_SEC=$(sed 's/^.$/0&/' <<< $(($TP_TMP%60)))
    TP=$(echo "$TP_HEU:$TP_MIN:$TP_SEC")

    ERR=$(cat $RSYNC_ERR)
    if [[ ${#ERR} -ne 0 ]]; then
      zenity --error --title="svgrd" --text="Problème lors de la sauvegarde du répertoire <b>$SRC</b>.\n\n<b><span color='red'>$ERR</span></b>."
      rm $RSYNC_ERR
    else
      NB_FICH=$(cat nb)
      ENVOI=$(afficheTaille $(cat /tmp/rapport.txt | grep sent | cut -d' ' -f2))
      RECU=$(afficheTaille $(cat /tmp/rapport.txt | grep sent | cut -d' ' -f6))
      VITESS=$(afficheTaille $(cat /tmp/rapport.txt | grep sent | cut -d' ' -f9))
      zenity --info --title="svgrd" --text="Sauvegarde du répertoire\n<b>$SRC</b>\nefféctuée avec succès.\n$NB_FICH fichiers synchronisés\n\nEnvoyé:\t$ENVOI\nReçu:\t$RECU\nTemps:\t$TP\nTransfert:\t$VITESS/sec"
      rm nb
    fi

    UMOUNT_ERR=$(umount $MOUNT 2>&1)
    UMOUNT_ES=$?
    if [[ $UMOUNT_ES -ne 0 ]]; then
      zenity --error --title="svgrd" --text="Problème lors du démontage du périphérique de\nsauvegarde \"$MOUNT\".\n\n<span color='red'><b>umount erreur n° $UMOUNT_ES</b>.\n$UMOUNT_ERR</span>"
    fi

  fi
fi

[...]
Et soyez indulgent je suis débutant 🙂

cf .ici

ewfzapp

merci a tous pour toutes ces infos

soupaloignon

Salut la dedans 😉

Je viens de voir cette info. Elle date un peu, je ne sais pas si c'est toujours d'actualité, mais bon, ça à l'air intéressant.

Salut djibril, je me suis récemment retrouvé a peu près dans le même cas que toi
J'ai constaté que les blocages ou arrêts des transferts étaient principalement du a des coupures réseaux (local et/ou Internet car mes sauvegardes se font sur un autre serveur a travers le web)
Tout ce qui avait déjà été transféré était perdu (plusieurs centaines de Mo voir quelques Go pour les gros fichiers)
Après quelques recherches dans le man de rsync, j'ai trouvé l'option --partial, qui permet de reprendre le téléchargement ou il s'était arrêté avant la coupure.
rsync -zva --partial --delete --stats --progress
Cela n'évite donc pas les blocages ou arrêts mais permet au moins de reprendre le transfert ou il s'était arrêté
PS: il faut bien préciser le --partial avant le --delete sinon le/les fichiers temp déjà téléchargés seront effacés

Le fil est ici : http://www.developpez.net/forums/d515835/systemes/linux/reseau/rsync-gros-repertoire/

Bruno666

Salut à tous, j'ai une petite question :

j'ai un serveur avec ubuntu 10.04 et rsync qui copie des fichiers en local dans un repertoire backup et ce repertoire est ensuite synchronisé avec toujours rsync vers un disque dur distant (à 200 kms)

les synchro fonctionnent très bien mais le souci c'est que lorsque l'on regarde les fichiers dans le disque dur ils ne sont pas tous accessible en lecture car les fichiers ont l'air de garder les droits des utilisateur de linux.

Donc sur mon poste de travail en windows, j'ai un problème de lecture de certains fichiers et impossible des les ouvrir ou de les copier.... donc en cas de restauration sur un nouveau serveur c'est un peu compliqué .....

Avez vous une idée ?

Bonne soirée à tous

FUN

Salut

Et ta commande rsync ressemble à quoi ?

Il y a un truc sur la conservation des droits dans le man, du côté des options :
-p, --perms préserve les permissions
-o, --owner préserve le propriétaire (root uniquement)
-g, --group préserve le groupe

http://man.developpez.com/man1/rsync.1.php/#L12

Bruno666

la commande est la suivante :
rsync --archive --verbose --compress --links --force --ignore-errors --delete --delete-excluded --backup --exclude-from=le_fichier_des_exclus --backup-dir=Destination_des_fichiers/date_du_jour La_cible La_destination/La_date

j'avais vu ces commutateurs pour les droits, mais l'idée est bien de supprimer les droits (voir de mettre un bon vieux 777 à tous les répertoires et les fichiers)

« Page précédente Page suivante »