Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[script] sauvegarde du /home avec rdiff-backup

roger64

C'est des essais qui sont pas simples...simples..😃

J'ai un doute à propos de truecrypt et rsync. Je ne suis pas sûr qu'ils aillent très bien ensemble :rolleyes:

rsync permet-il de sauvegarder efficacement un volume truecrypt ?

Je m'explique : un volume TC , c'est un fichier. Si l'on modifie des fichiers à l'intérieur du volume crypté, rien ne transparaitra à l'extérieur pour rsync. Lors de la sauvegarde suivante avec rsync, ce dernier risque "d'oublier" le fichier-volume truecrypt car il va considérer qu'il n'a pas changé. Il faudrait pour cela qu'il le sauvegarde en totalité.

Je ferai une vérification aujourd'hui parce que, d'un seul coup, ça m'inquiète...

Et d'ailleurs même au cas où il en prendrait bonne note, il faudra pour le sauvegarder qu'il change la totalité du fichier TC, c'est à dire qu'on est loin de la sauvegarde incrémentale qui fait la force de rsync (ou rdiff-backup). Il s'agit pour le coup d'une sauvegarde complète.

De là à conclure que les gros fichiers TC ne sont pas idéaux pour rsync...(et réciproquement)..?

rangzen

rsync va sauvegarder DANS le container truecrypt ! 😃

roger64

OK :rolleyes:

Je n'avais pas tout compris. 🙂
Mais ils sera intéressant de détailler: la cible doit être aussi un volume TC ouvert pour l'occasion ?

Pour synchroniser mon petit volume TC (50 mégas) avec rsync, il faudrait
- que j'ouvre sur le disque dur externe un volume TC destiné à la sauvegarde
- que j'ouvre également le volume TC du disque interne
- puis que je lance rsync entre les deux volumes.
- puis que je referme proprement tout ça.

Un script velu pour moi. :lol:

Je me demande si, dans mon cas -petit volume, rares modifications (style numéro de carte bleue)-, il n'est pas plus simple de faire un script (voir plus bas) qui consiste simplement à copier (cp -dp /source /cible) le container sur le DD externe après toute modification.

La sauvegarde des fichiers cryptés est une question que je ne m'étais jamais posée. J'ai en fait deux fichiers cryptés, un fichier Truecrypt et un fichier Notecase. Pour les deux, je me rends compte maintenant que les sauvegardes incrémentales "classiques" posent problème. Or, j'ai longtemps utilisé Acronis qui a recours à des sauvegardes incrémentales. J'étais ainsi au bord du gouffre sans le savoir...:rolleyes:

Un lien: http://www.cedynamix.fr/2008/06/09/sauvegarde-cryptee-sous-ubuntu/
Un autre: http://www.truecrypt.org/docs/?s=how-to-back-up-securely
Un spécial pour Amazon: http://www.niquille.com/2008/06/15/amazon-s3-tripple-encrypted-true-rsync-backup/

Je suis preneur de ton script au cas où.

Celui-ci que je viens de créer me suffit car il ne prend que quelques secondes (à exécuter en cas de besoin):

#!/bin/bash

cd /home/roger/sécurité
cp -dp coffre /media/Premier/save/coffre
cp -dp notes.nce /media/Premier/save/notes.nce

sed -i 's/DERNIERE SAUVEGARDE LE/Cette ancienne sauvegarde date du/g' /home/roger/sécurité/sauvegardes/sauv-crypt-log
echo "DERNIERE SAUVEGARDE LE $(date +%d-%m-%y\ à\ %H\ heures-%M\ minutes-%S\ secondes)" >> /home/roger/sécurité/sauvegardes/sauv-crypt-log

rangzen

Sur mon disque principal "privee" n'est pas chiffré, seule la partie "privee" des disques de sauvegardes est chiffrée. Si "privee" est chiffré sur le disque principale, je crois pas que je vais me faire ---- à monter 2 disques, je ferai une sauvegarde du container chiffré directement.

Je suis en train de tester donc j'ai pas de script tout fait et il ne sera sûrement jamais complètement automatisé car je n'aime pas enregistré mes passwords en dur et le chiffrement par certificat me semble une grosse bétise, à part si tu es capable d'avoir x sauvegarde de cette clé, etc. Par contre l'authentification SSH par certificat, oui 🙂

Je vais faire un howto de toute façon. Peut être même sur le wiki pourquoi pas ...

Pour ton script:
- je laisserai -a même si -R ne sert à rien avec un seul fichier, les gens sont habitués
- je garderai rsync qui doit mieux se débrouiller que cp pour réduire le temps de copie
- je garderai pas la dernière date de sauvegarde puisque de toute façon elle est pas accessible 🙂 tu viens de tout écraser 🙂 ou alors ton répertoire save doit s'incrémenter et là tu arrêtes tout, tu viens de réinventer l'incrémentale/complète 😃

#!/bin/bash
cp -a /home/roger/sécurité/coffre /home/roger/sécurité/notes.nce /media/Premier/save/
echo "derniere sauvegarde le $(date +%d-%m-%y\ a\ %H\ heures-%M\ minutes-%S\ secondes)" >> /home/roger/sécurité/sauvegardes/sauv-crypt-log

roger64

Merci de tes corrections de bon sens. 🙂

Vu le volume de mes deux fichiers cryptés et leur usage au mieux quotidien, je me contente de les copier à chaque modif puisque la sauvegarde incrémentale classique ne marche pas pour eux (sauf script diabolique que je ne sais pas écrire). Cette manip basique me convient et je ne prétends pas avoir inventé quoi que ce soit. 😛

La solution conseillée sur le site de Truecrypt (voir lien plus haut) qui consiste à ouvrir les deux disques et à copier le contenu de l'un vers l'autre est sans doute un peu plus économique en volume copié mais plus lourde d'emploi. Bof.

ça n'empêche pas de penser à améliorer. 😛

rangzen

Bon voilà je commence : http://l-homme.com/tatouage/?p=3
Le wiki est un peu trop "fermé" pour moi 🙂

Pour truecrypt :
mkdir -p /media/backup_target /media/backup_source
truecrypt --text /media/Premier/save/coffre /media/backup_target
truecrypt --text /home/roger/sécurité/coffre /media/backup_source
rsync /media/backup_source /media/backup_target
truecrypt --dismount

roger64

Merci pour le script 🙂

Il est toutefois lent, puisqu'il me faut ouvrir les deux volumes avec le mot de passe, indiquer pour chacun qu'il n'y a pas de "keyfile",:rolleyes: pas de volume caché...et puis à la fin il plante.

Je pense que c'est sûrement la bonne façon de procéder mais pour un gros volume, genre partition ou équivalent ou le recours à rsync a tout son sens. Dans mon cas il ne se justifie pas.

Je garde donc mon script avec la copie "bourrin" et tes améliorations.

rangzen

Il y a une façon de sauvegarder par utilisateur 🙂

roger64

@fetchy

Pour me faire pardonner d'avoir longtemps squatté ton fil, un petit ajout possible pour le début de ton script que j'ai naturellement emprunté dans la documentation...:cool:

# le script effectue la vérification du montage de la partition "/media/Premier" du disque dur externe usb.

if [ ! -e "/media/Premier/" ]
then
echo "Erreur, le volume de sauvegarde est absent."
exit
fi

@rangzen

Exact. C'est le bonheur de Linux.🙂

rangzen

Pffiuuuu j'en ai chié avec les options de sshfs ... mais l'article est utilisable ...
Si vous avez des suggestions ...

fetchy

@roger64
Merci pour ton conseil. Et pas de problème pour le squat, je trouve que ce fil est plutôt constructif et pourra présenter différentes pistes pour ceux qui recherchent une solution, et comme il a été dit plus haut, ils pourront ainsi trouver la leur!

pacyang

Merci pour ton script qui a eu pour moi un but plus lucratif que fonctionnel^^
(je l'ai pas utilisé mais j'ai mieux compris certaines commandes ^^)

roger64

@rangzen
Trouvé ça par hasard...
http://directory.fsf.org/project/rsyncrypto/

rangzen

Pas mal, merci !

gomoz

Bonjour,

je déterre ce topic car je fais un script de sauvegarde de mon serveur dédié et un problème se pose avec rdiff-backup :
- Je veux une sauvegarde en direct, tous les jours jusque J-30 à même le serveur
- Et en plus, une mini sauvegarde jusque J-7 sur un autre serveur (en cas de disparition des données sur le premier serveur)

Bon et bien sur faut pas que ca prenne trop de charge serveur. L'idéal serait que je face la première sauvegarde puis que "j'exporte" sur l'autre serveur à partir des données déjà extraite par la première sauvegarde.

Vous avez une idée pour faire cette "exportation" ?

rangzen

scp avec certificat et restriction

lesebas

Salut, j'ai pas mal retravaillé ce script pour pouvoir l’exécuter en root (je sauvegarde les fichiers de plusieurs users depuis ma session), et j'ai également ajouté un fichier de log dans lequel je trace les résultats des commandes rdiff-backup.

Le principal problème était de passer en root au milieu du script uniquement si la sauvegarde se lance. J'ai donc isolé les tests dans un script et la sauvegarde en elle même dans un autre. Le premier appelant le deuxième si besoin:

Script 1 (script-rdiff-backup-test):

#!/bin/bash
configFile="/home/commun/sebastien/Sauvegarde/rdiff-backup-manager.conf" #fichier de conf contenant la date de la prochaine sauvegarde
logFile="/home/commun/sebastien/Sauvegarde/logs/log_sauvegarde_"$( date '+%Y')-$( date '+%m')-$( date '+%d')

#Lecture dans un fichier de conf de la date de la prochaine sauvegarde
if test -s $configFile
then
    nextUpdateDate=$(cat $configFile)
    echo "La date de la prochaine sauvegarde est le " $nextUpdateDate 
else
    echo "fichier de conf absent"
    nextUpdateDate=0
fi    
todayDate=$(date '+%Y%m%d')
echo "Nous sommmes le " $todayDate
if  (test $nextUpdateDate -le $todayDate)
then
    #Date dépassée => on propose de faire la sauvegarde
    if zenity --question --text="Faire la sauvegarde automatique maintenant ? (Brancher le Disque Externe auparavant)"
    then
    echo -e "Sauvegarde du " $( date '+%d')-$( date '+%m')-$( date '+%Y')\\r\\r >> $logFile
    ./script-rdiff-backup-sauvegarde
    #suppression des vieux fichiers de log
    testDate=$(date '+%Y%m%d' --date '45 days ago')
    for i in $( ls logs/); do
        annee=$(echo $i | cut -c16-19)
        mois=$(echo $i | cut -c21-22)
        jour=$(echo $i | cut -c24-25)
        date_fichier=$(echo $annee$mois$jour)
        if (test $date_fichier -le $testDate)
        then
            rm logs/$i
        fi
    done
    #mise à jour du fichier de conf avec la date de la prochaine mise à jour
        echo $(date '+%Y%m%d' --date '7 days') > $configFile
    else
        zenity --info --text="La mise à jour sera à nouveau proposée au prochain démarrage."
fi
else
    echo "rien a faire"
fi

Qui s'enchaine avec le script 2 (script-rdiff-backup-sauvegarde):

#!/bin/bash
if [ ! "$SUDO_USER" ]
then
    gksudo -k "$0"
    exit 0
fi
backupDirectory="/media/LUPUS_BCKP/rdiff-backup/"
origDirectory="/home/"
#liste des dossiers a sauvegarder
directoryList="stephanie/Bureau stephanie/.config sebastien/.config commun/ sebastien_mint/.config stephanie_mint/.config"
logFile="/home/sebastien/Sauvegarde/logs/log_sauvegarde_"$( date '+%Y')-$( date '+%m')-$( date '+%d')
    
    echo -e "Dossiers Sauvegardés : \\r"$directoryList\\r\\r"Début de la sauvegarde à "$(date '+%T')\\n >> $logFile
        #verifier la presence du dossier de sauvegarde
        if test -d $backupDirectory
        then  
    #sauvegarde à faire ici !!!
                for i in $directoryList; do
                    nice -n 19 rdiff-backup $origDirectory$i $backupDirectory$i 2>&1 >> $logFile && nice -n 19 rdiff-backup --remove-older-than 1M --force $backupDirectory$i 2>&1 >> $logFile
                done
                zenity --info --text="La sauvegarde est terminée."
            echo -e \\r"Fin de la suvegarde à "$(date '+%T')\\r"La sauvegarde s'est bien terminée" >> $logFile
        else
                zenity --error --text="Dossier de sauvegarde non trouvé."
            echo -e \\r"ERREUR LORS DE LA SAUVEGARDE!!! Dossier de sauvegarde non trouvé" >> $logFile
        fi

Voli voilou pour ce que ça aide ! 😉

HP

Perso, résultats de backups avec seulement rsync :

# ls -ltr /media/ST360012A/backups/
total 28
drwxr-xr-x 3 dimitri dimitri 4096 2012-01-10 23:16 2
drwxr-xr-x 3 dimitri dimitri 4096 2012-01-11 23:49 3
drwxr-xr-x 3 dimitri dimitri 4096 2012-01-12 07:00 4
drwxr-xr-x 3 dimitri dimitri 4096 2012-01-13 21:47 5
drwxr-xr-x 3 dimitri dimitri 4096 2012-01-14 17:18 6
drwxr-xr-x 3 dimitri dimitri 4096 2012-01-15 22:41 7
drwxr-xr-x 3 dimitri dimitri 4096 2012-01-16 12:23 1
lrwxrwxrwx 1 dimitri dimitri    1 2012-01-16 12:23 LATEST -> 1

# du -hs /media/ST360012A/backups/1
18G     /media/ST360012A/backups/1

# du -hs /media/ST360012A/backups/
19G     /media/ST360012A/backups/

7 backups… 19G, alors qu'un backup unique en pèse 18 ! 🙂

lesebas

Salut HP

Ok le script est facilement adaptable avec rsync (au passage je viens juste de mettre à jour mon post d'avant, le script est modifié pour supprimer les vieux fichiers de logs).

Par contre je me pose une question.

Si j'ai bien compris, rdiff-backup fait des sauvegardes différentielles donc si je garde un mois de sauvegardes effectuées toutes les semaines à tout moment je peux restaurer 4 versions différentes de fichier (S-1, S-2, S-3 et S-4)? Au passage je ne sais pas comment on fait et je n'ai jamais testé (à creuser... 😛 )

De même si j'ai bien compris rsync, il s'agit d'un logiciel de synchronisation... il ne sauvegarde donc que la dernière version d'un fichier en suprimant automatiquement la précédente. Donc si un fichier a été modifié par erreur et que la sauvegarde a eu lieu... impossible de le restaurer? Ce qui expliquerait la différence de taille entre les tes sauvegardes?

J'ai bien compris, ou c'est autre chose? Quelqu'un connait-il bien le sujet?

HP

lesebas a écritDe même si j'ai bien compris rsync, il s'agit d'un logiciel de synchronisation... il ne sauvegarde donc que la dernière version d'un fichier en suprimant automatiquement la précédente. Donc si un fichier a été modifié par erreur et que la sauvegarde a eu lieu... impossible de le restaurer?

Reste la sauvegarde du jour d'avant… pas pour rien que je fais des sauvegardes sur 7 jours.

lesebas a écritCe qui expliquerait la différence de taille entre les tes sauvegardes?

Euh… non… on va la refaire :

# du -hsl /media/ST360012A/backups/*
18G     /media/ST360012A/backups/1
18G     /media/ST360012A/backups/2
18G     /media/ST360012A/backups/3
18G     /media/ST360012A/backups/4
18G     /media/ST360012A/backups/5
18G     /media/ST360012A/backups/6
18G     /media/ST360012A/backups/7
0       /media/ST360012A/backups/LATEST

Sys. de fichiers            Taille  Uti. Disp. Uti% Monté sur
/dev/sdd5             294G   26G  253G  10% /media/ST360012A

Sachant que sur le disque, y a pas que mes backups… même si à terme, ça devrait.

« Page précédente Page suivante »