Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[Script] sauvegarde automatique/manuelle des fichiers sur un serveur

nesthib

Bonjour,

afin de ne pas risquer de perdre ses données importantes à cause d'une panne ou d'un crash la prudence conseille de sauvegarder ses données, on y pense une fois, deux fois et après on oublie et c'est le drame 😉
je vous fais donc profiter d'un script que j'ai amélioré au cours du temps (merci PP pour la base) et qui sauvegarde tous les jours le contenu de plusieurs dossiers de travail sur un serveur.

Prérequis :
- avoir un accès ssh sur un serveur de sauvegarde
- avoir installé [doc]rsync[/doc] sur la machine et le serveur
- avoir installé zenity

Fonctionnalités :
- juste besoin de lister les dossiers et fichiers à sauvegarder dans un fichier texte une fois le script configuré
- vérifie l'état de la connexion et fait un ping sur le serveur avant la sauvegarde
- crée un log hebdomadaire des fichiers sauvegardés
- affiche une jolie notification à la fin de la sauvegarde
- si on clique sur l'icone de notification, affiche la liste des fichiers sauvegardés

Voici le contenu du script

#!/usr/bin/env bash
# rsync from this host to the backup server

#options de sauvegarde manuelle interactive
if [ "$*" = "-m" -o "$*" = "--manual" ]; then
	MODE="Manual"
else
	MODE="Automatic"
fi

#vérification de la connection réseau et boucle en attente de connexion
# eth est à adapter en fonction du nom de votre carte réseau, ici eth pour eth0 + eth1 (ethernet ou wifi)
ETH="eth"
WAIT=0
while [ `ifconfig | grep -A1 ${ETH} | sed -n 's/.*adr:\([0-9]*\.[0-9]*\.[0-9]*\.[0-9]*\).*/\1/p' | wc -c` = 0 ]; do
	WAIT=1
	sleep 5
	echo waiting
done
#laisse un peu de temps si la connexion était coupée
if [ ${WAIT} = 1 ]; then
	sleep 5
fi

#définition des variables
#------------------------
SCRIPT_PATH=~/scripts/backup		#chemin du dossier contenant le script
SRC_FOLDER=~/					#chemin du dossier local contenant les fichiers à sauvergarder
SAVELIST=${SCRIPT_PATH}/savelist	#fichier texte contenant la liste des fichiers et sous-dossiers de SRC_FOLDER à sauvegarder
#------------------------ 
USER=nom_utilisateur				#nom d'utilisateur ssh sur le serveur
REMOTE_HOST=server.domain.fr		#adresse distante du serveur de sauvegarde
ALT_HOST=server.local				#adresse locale du serveur de sauvegarde
DST_FOLDER=backup				#nom du dossier de sauvegarde sur le serveur
#------------------------
NICE=5					#priorité donnée au script
#------------------------

#teste si on est en local, auquel cas changement de nom de serveur
ping -c 2 -d ${ALT_HOST} && REMOTE_HOST=${ALT_HOST}

LOGIN=${USER}@${REMOTE_HOST}
DATE=`date +%k:%M`

#création du dossier de log si inexistant
if [ ! -e ${SCRIPT_PATH}  ] ; then mkdir ${SCRIPT_PATH}/log; touch ${SCRIPT_PATH}/log/last ; fi

#fonction de notification
notification() {
	# ${1} = "terminée" ou "annulée"
	# ${2} = durée d'affichage en secondes
	echo message:"${DATE}\nLa sauvegarde sur ${REMOTE_HOST} est ${1}" | zenity --notification --listen --window-icon="info" | zenity --notification --timeout=${2} --window-icon="info" --text="Sauvegarde sur ${REMOTE_HOST} ${1} (${DATE})" && if cat ${SCRIPT_PATH}/log/list | grep ""; then cat ${SCRIPT_PATH}/log/list | grep -v /$ | zenity --text-info --title="Fichiers synchronisés" --width=800 --height=600; else zenity --info --text="Aucun fichier synchronisé"; fi

}

#fonction de sauvegarde et log
save() {
	#synchronisation et log
	{
	echo "# ${MODE} backup"
	echo "# Starting: "`/bin/date`
	nice -n ${NICE} rsync -avrz --delete \
	--files-from=${SAVELIST} \
	${SRC_FOLDER} \
	${LOGIN}:${DST_FOLDER}
	echo "# Ending: "`/bin/date`
	echo "# -------------------------------------------------------------"
	echo
	} >> ${SCRIPT_PATH}/log/`date +%G-%V`.log
	date >> ${SCRIPT_PATH}/log/last
	#sauvegarde du nom des derniers fichiers synchronisés
	tac ${SCRIPT_PATH}/log/`date +%G-%V`.log | sed -n '2,/#\ -/p' | tac | sed -e '1,5d' | sed -e :a -e '$d;N;2,5ba' -e 'P;D' >${SCRIPT_PATH}/log/list
	#notification
	notification "terminée" 1200
}

#dialogue si mode interactif
if [ ${MODE} = "Automatic" ]; then
	save	
else
	zenity --question --title="Sauvegarde Manuelle sur ${REMOTE_HOST}" --text="Sauvegarder sur ${REMOTE_HOST} maintenant?

	La dernière sauvegarde date du :
	`tail -1 ${SCRIPT_PATH}/log/last | sed 's/ (UTC.*//'`
	Les modifications ultérieures seront tranférées sur ${REMOTE_HOST}.
	"

	if [ $? = "0" ]
	then
		save
	else
		notification "annulée" 60
	fi
fi

rendez ensuite le script executable

chmod u+x /chemin/vers/backup.sh

adaptez la partie du script contenant les variables à votre configuration

#définition des variables
#------------------------
SCRIPT_PATH=~/scripts/backup		#chemin du dossier contenant le script
SRC_FOLDER=~/					#chemin du dossier local contenant les fichiers à sauvergarder
SAVELIST=${SCRIPT_PATH}/savelist	#fichier texte contenant la liste des fichiers et sous-dossiers de SRC_FOLDER à sauvegarder
#------------------------ 
USER=nom_utilisateur				#nom d'utilisateur ssh sur le serveur
REMOTE_HOST=server.domain.fr		#adresse distante du serveur de sauvegarde
ALT_HOST=server.local				#adresse locale du serveur de sauvegarde
DST_FOLDER=backup				#nom du dossier de sauvegarde sur le serveur
#------------------------
NICE=5					#priorité donnée au script
#------------------------

et créez le fichier contenant la liste des dossiers à sauvegarder (ici /chemin/vers/savelist )
/!\ les fichiers et dossiers listés sont des sous-fichiers/dossiers du dossier défini auparavant par SRC_FOLDER (par défaut le home)
/!\ attention à la casse des caractères

Documents/Travail
Images/Travail
autres/dossier_super_important

Pour lancer le script

/chemin/vers/backup.sh

pour le lancer avec une boîte de dialogue de confirmation (j'ai fait un lanceur sur le tableau de bord avec la commande "bash /chemin/vers/backup.sh --manual")

/chemin/vers/backup.sh --manual

et enfin pour automatiser les sauvegardes, il faut utiliser [doc]cron[/doc]

crontab -e

et ajouter les paramètres suivants pour lancer le script à midi du lundi au vendredi (le >>/chemin/vers/log/cronlog 2>&1 permet de créer un log pour debugger)

DISPLAY=":0.0"
USER="nom_utilisateur"
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
# m h  dom mon dow   command
00 12 * * 1-5 /chemin/vers/backup.sh >>/chemin/vers/log/cronlog 2>&1

Merci de me faire part de votre avis ou de vos suggestions

Phixme

Très bonne idée je comptais faire ça pour mon dédié, je teste dès que j'ai le temps.

😉

jrev

chez moi je fais un partage de dossiers NFS avec un simple script sur le PC client 🙂

nesthib

jrev a écritchez moi je fais un partage de dossiers NFS avec un simple script sur le PC client 🙂

mais du coup ça ne fonctionne qu'en réseau local non?

jrev

Eh oui !

Quel est l'intérêt de ton système qui paraît un tantinet plus complexe ?

Je suis curieux de voir la différence 😃

nesthib

jrev a écritEh oui !

Quel est l'intérêt de ton système qui paraît un tantinet plus complexe ?

Je suis curieux de voir la différence 😃

ben déjà ça fonctionne aussi bien en réseau local qu'avec un serveur distant, ce qui est important pour moi, mes données sur mon portable sont sauvegardées automatiquement depuis n'importe où. Après je sais pas ce que fais ton script (si tu veux le poster avec quelques explications ça peut être éventuellement intéressant) mais le mien n'est pas si complexe que ça.

Ses fonctions :
- sauvegarde sur serveur distant (bon ok c'est le but...)
- transfert uniquement des données ayant changé depuis la dernière sauvegarde (avec rsync)
- vérification de la connexion et attente du réseau pour la sauvegarde
- choix des dossiers à synchroniser
- log des fichiers transférés et du fonctionnement du script
- affichage d'une notification de fin de synchronisation et des fichiers transférés
- possibilité de le lancer en mode interactif (par ex avec un bouton dans un tableau de bord) avec boîte de dialogue de confirmation

bon ce sont des fonctions que j'ai développées car elle correspondent à mon utilisation, mais je suis ouvert à toute critique, idée d'amélioration, etc.

jrev

voilà mon script :

#!/bin/bash
SOURCE_DIRS=/media/nfs/
TARGET_DIR=/home/jean/documents
# monter le repertoire nfs 
mount /media/nfs

rsync -av --del --stats $SOURCE_DIRS "$TARGET_DIR"

umount /media/nfs

echo "Backup Terminé

Il sert à copier mon dossier "mes documents" du PC principal sur un PC du réseau

J'ai un script similaire pour sauvegarder mes documents sur une clé USB
et un script pour sauvegarder les paquets téléchargés sur un PC et les enregistrer sur un autre PC.

nesthib

c'est vrai que c'est beaucoup plus épuré 😉

cela dit que se passe-t'il si ton partage est inaccessible? ton script ne va pas effectuer la tâche attendue et marquer quand même "Backup Terminé" à la fin non?
ça m'est arrivé pour une des premières version de mon script, comme ma carte réseau a tendance à se déconnecter, la synchro ne se faisait pas mais le script se terminait ni vu ni connu comme si il n'y avait aucun nouveau fichier à synchroniser. J'ai mis quelques jours avant de réaliser que je ne sauvegardais rien du tout...
D'où l'intérêt de faire quelques vérifications, surtout si, comme-moi, tes données sont très importantes. Certes le script est un peu plus compliqué mais quand il n'y a rien à synchroniser il est lancé pendant à peine 2-3 secondes (d'ailleurs avec le nice tu peux diminuer sa priorité face aux autres processus)

voili voilou

anonyme1

Je suis tombé dessus par hasard.
Il est bien sympa ton script. Merci.

nesthib

Screamer@onthelan a écritJe suis tombé dessus par hasard.
Il est bien sympa ton script. Merci.

merci à toi!
tu as testé? tout s'est bien passé?

anonyme1

hello

Nan pas testé, je le ferai surement dans la semaine; mais à la lecture, je n'ai rien vu de "bizarre"; je ne vois pas pourquoi je rencontrerai des soucis de fonctionnement.

Je teste et quand c'est fait, je reviens te dire si j'ai rencontré des soucis.
Encore merci .

Gibon44

Whaou, on peut en faire des trucs sur Ubuntu !
Je suis tombé sur ce topic par hasard, je cherche une méthode pour sauvegarder certains documents automatiquement sur un disque dur externe. Il n'y a pas un programme qui peut gérer ça ?

nesthib

rsync est un programme en ligne de commande qui fait ça très bien! Si tu étudies un peu mon script c'est sur lui que je l'ai basé. Si tu es allergique à la ligne de commande (il ne faut pas c'est souvent le plus simple/efficace pour effectuer une tâche), tu peux utiliser grsync qui est une interface graphique pour rsync

Sinon tu peux modifier mon script pour qu'il fonctionne en local :
il faut supprimer les parties :

#vérification de la connection réseau et boucle en attente de connexion
# eth est à adapter en fonction du nom de votre carte réseau, ici eth pour eth0 + eth1 (ethernet ou wifi)
ETH="eth"
WAIT=0
while [ `ifconfig | grep -A1 ${ETH} | sed -n 's/.*adr:\([0-9]*\.[0-9]*\.[0-9]*\.[0-9]*\).*/\1/p' | wc -c` = 0 ]; do
    WAIT=1
    sleep 5
    echo waiting
done
#laisse un peu de temps si la connexion était coupée
if [ ${WAIT} = 1 ]; then
    sleep 5
fi

#teste si on est en local, auquel cas changement de nom de serveur
ping -c 2 -d ${ALT_HOST} && REMOTE_HOST=${ALT_HOST}

et remplacer la ligne :

    ${LOGIN}:${DST_FOLDER}

par

    ${DST_FOLDER}

Gibon44

Je vais tester ça, merci !

sputnick

Ya des applis pour ça : je me sert de rsnapshot tous les jours pour faire des backups ( incremental ou non )

apt-cache show rsnapshot

soufyane85

Bonjour nesthib

En fait j'ai essayé votre script mais j'ai toujours une erreur d'authentification. je saisie le mot de passe exact mais j'ai cette erreur suivante :

Croot@seriacom:~# ScriptFtpXmlDep --manual
PING 10.13.75.254 (10.13.75.254) 56(84) bytes of data.
64 bytes from 10.13.75.254: icmp_seq=1 ttl=64 time=0.031 ms
64 bytes from 10.13.75.254: icmp_seq=2 ttl=64 time=0.032 ms

--- 10.13.75.254 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.031/0.031/0.032/0.005 ms
User@10.13.75.254's password:
Permission denied, please try again.
User@10.13.75.254's password:
Permission denied, please try again.
User@10.13.75.254's password:
Permission denied (publickey,password).
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: unexplained error (code 255) at io.c(600) [sender=3.0.5]
libnotify-Message: Unable to get session bus: Did not receive a reply. Possible causes include: the remote application did not send a reply, the message bus security policy blocked the reply, the reply timeout expired, or the network connection was broken.

** (zenity:811): WARNING **: Notification framework not available
libnotify-Message: Unable to get session bus: Did not receive a reply. Possible causes include: the remote application did not send a reply, the message bus security policy blocked the reply, the reply timeout expired, or the network connection was broken.

Veuillez m'aider svp. j'attend votre réponse. Merci d'avance

nesthib

soufyane85 a écritPermission denied (publickey,password).

Il semble que la connexion sur l'hôte distant échoue,
Est-il possible de se connecter simplement avec :

ssh user@10.13.75.254

Si ce n'est pas possible, la sauvegarde ne peut bien sûr pas se faire…

Pour ma part je préfère m'authentifier par clé publique/privée, comme ça pas de mot de passe à taper (voir la doc sur [doc]ssh[/doc])

[R]

nesthib a écritPrérequis :
- avoir un accès ssh sur un serveur de sauvegarde
- avoir installé [doc]rsync[/doc] sur la machine et le serveur
- avoir installé zenity

Bonjour,

Dans l'hypothèse où l'on n'a pas d'accès ssh sur le serveur (je pense à un hébergement mutualisé par exemple), quelle méthode de sauvegarde réseau (par ftp par exemple) conseillerais-tu permettant l'incrémental et/ou le chiffrement des sauvegardes ? 🙂

nesthib

si je ne dis pas de bêtises, le protocole FTP ne permet pas en lui même le chiffrement ou le transfert incrémental de données. Ce que tu demandes est à ma connaissance impossible. Tu peux cependant faire des sauvegardes par ftp mais tout le fichier devra être envoyé sur le serveur. En ce qui concerne le chiffrement des données, cela devra se faire à une couche supérieure (SSL, TLS, VPN…).

Si tu as l'occasion de discuter avec tes colocataires de serveur, la mise en place d'un serveur ssh n'est absolument pas un problème à partir du moment ou les droits sont correctement paramétrés (ex. pour les cas complexes, voir les [doc]acl[/doc]).

bipbip92

Bonsoir,
Si j'en crois man nice et que ton intention est de donner priorité à la sauvegarde par rapport au reste, mieux vaudrait affecter une valeur de -5 à ta variable NICE non?
Cordialement,

Page suivante »