18 mars 2016

Tout sauvegarder

Le sujet des sauvegardes devrait être une source de réflexion permanente, et bien sûr, le reflet de sa propre organisation.

Voici une petite anecdote qui évitera peut-être à quelques un(e)s d'entre vous de subir le même désagrément que moi. Un retour d'expérience négative reste un retour d'expérience...

Je suis l'heureux propriétaire d'un stockage réseau qui permet à tous les membres de ma tribu de mettre leurs données à l'abri des pertes de données intempestives. Le terme savant informatique est NAS, pour Network Attached Storage. C'est un boîtier contenant un ou plusieurs disques durs, relié au réseau familial, allumé 24/7, et accessible en partage avec des droits d'accès individuels et collectifs.

Nous stockons sur ce NAS les photos, musiques et vidéos familiales, mais aussi les sauvegardes de nos postes de travail. Il est constitué d'un boîtier contenant deux disques de 3 To montés en miroir (RAID1) permettant de fonctionner sans perte de données, même si l'un des deux disques tombe en panne.

Un troisième disque dur de 3 To est branché en externe sur la prise USB3 et assure la sauvegarde quotidienne de ce boîtier NAS par réplication. Ce troisième disque tourne tous les six mois avec un quatrième, ce qui me permet d'avoir une copie complète des données, mais hors ligne cette fois.

Mon organisation des données familiales est donc la suivante : les données importantes sont sur le NAS, sur sa sauvegarde quotidienne et sur un disque hors ligne, les données non confidentielles sont sur mon compte Google Drive (à capacité illimitée), synchronisées à la fois sur mon ordinateur personnel et sur mon ordinateur professionnel, et les données "superflues", c'est-à-dire facilement récupérables sont sur mes disques locaux, avec une synchronisation automatique vers le NAS. Tous les ordinateurs de la maison utilisent peu ou prou ce même schéma.

Pour les machines sous Windows, j'utilise le logiciel SyncBack vers le NAS
Pour les machines sous iOS, j'utilise iCloud et iTunes.
Pour les machines sous Android, j'utilise le cloud de Google.
Pour les machines sous GNU/Linux (Raspbian et Mint), j'utilise la commande rsync vers le NAS.

A un moment, je me suis rendu compte que ma zone de sauvegarde personnelle (située sur le NAS) contenait tout un tas de données "obsolètes" car déplacées ou supprimées de mon ordinateur personnel. J'ai donc ajouté l'option "del" à la commande rsync pour garder une copie propre et fidèle des données de mon ordinateur. Cette commande est exécutée à chaque démarrage de mon poste.

J'ai fait plusieurs tests et tout était OK.

Jusqu'à la panne de ce lundi...

Lundi soir, alors que je lisais tranquillement mes flux RSS tout en écoutant la bande son du film d'animation "Métal Hurlant" (si si), j’entends tout à coup un drôle de bruit en provenance de ma tour : cloc, cloc, cloc... L'un des disques durs venait de me lâcher...

J'arrête proprement mon ordinateur, le laisse refroidir un peu, puis le redémarre. Le disque dur, définitivement en panne, refuse d'être monté par le système d'exploitation. Je viens de gagner un nouveau presse-papier design...

Heureusement, j'ai sur le NAS une copie synchronisée de mes données. Je lui jette un coup d’œil pour m'assurer qu'aucun voyant rouge ne vient gâcher définitivement ma soirée. Ouf, tout est en ordre.

Sauf que.

Sauf que je le trouve bien agité pour un NAS qui n'a rien à faire ! Je vérifie les fichiers journaux de mon script de synchronisation : ma super commande rsync était en train de synchroniser l'absence de données (le disque en panne) avec le vieux NAS, et donc elle EFFAÇAIT toutes les données du NAS (logique). Magie de l'option "del"...

J'ai donc stoppé la synchronisation immédiatement et regardé les dégâts : une centaine de fichiers effacés par la synchronisation destructive... Heureusement, toutes ces données sont "superflues" et donc leur perte m'importe peu.

Mais j'étais vexé comme un pou sur la tête d'un chauve...

J'ai bien entendu aussitôt révisé ma stratégie de synchronisation en retirant l'option "del" de la commande rsync.

Puis je me suis posé la question de la pertinence de mon schéma de sauvegarde familial, surtout en cas d'attaque d'un cryptovirus : si l'un d'entre nous ouvre une pièce jointe contaminée qui va chiffrer rapidement tous les fichiers auxquels les droits informatiques lui donnent accès en écriture, quelle solution mes sauvegardes apportent-elles ?

Toutes les zones accessibles en écriture sur le NAS seront chiffrées. Chacun ayant un compte séparé, seules une partie des données seront atteintes. Mais si personne ne me prévient, la sauvegarde par réplication écrasera la copie saine des données dès la nuit suivante. Il ne me restera en clair que les données de mon 4e disque dur (celui mis hors ligne pour six mois). Avec le risque de perdre jusqu'à six mois de données !

J'ai décidé de revoir tout cela en profondeur et d'équiper la maison d'un système de sauvegarde dédié: j'ai fait l'achat d'un NAS spécialement dédié à la sauvegarde. J'ai choisi de suivre les recommandation d'un geek passionné qui tient un blog et recommande l'achat d'un NAS quatre baies de qualité professionnelle pour 219 euros chez Amazon (sans les disques) !


Objectif : installation d'Openmediavault ET de BackupPC sur la même machine, avec mise en place d'une stratégie de sauvegarde incrémentale.

J'attends avec impatience la livraison, et je vous tiens au courant ;-)
A suivre...

21 commentaires:

  1. Hello,BackupPC fonctionne vraiment très bien. La conf des clients sur l'interface de gestion est un peu fastidieuse (penser à autoriser ICMP sur les clients, c'est comme ça que le serveur sait qu'ils allumés, en les pinguant) mais le produit est vraiment tip-top.

    RépondreSupprimer
  2. Perso pour les backups perso, je trouve que 237€ pour un synology 416j (LDLC, promo 7%) c'est quand même bien plus pratique et fiable que le microserver HP sans compter niveau sécurité, MAJ, etc. Les maj du DSM sont même vraiment clean.

    Avec une bonne séparation entre les données critiques (photos, administratif, etc.), ça ne fait finalement pas tant de données critique que cela. On active le rolling backup et une petite duplication chiffrée tout les 3 mois chez le collègue (qui a le même).

    La musique & autre est en backup à la demande lors du branchement d'un externe dont je me sers aussi lors de mes déplacements international (j’hésite à savoir si je dois le chiffrer).

    Et comme j'ai un peu du mal à mélanger mes données perso et la partie public, je suis moyennement chaud pour faire double usage du joujou. Quitte à prendre un serveur pour les tests et auto-hebergement, autant prendre un barebone et faire une config upgradable.

    RépondreSupprimer
    Réponses
    1. Le NAS familial est un Synology 713+ dont je suis pleinement satisfait, mais... (suite dans ma réponse au commentaire suivant)

      Supprimer
  3. Bonjour,
    Héhé je conserve de pc en pc depuis un peu plus de 2 décennies cette page, qui s'avère toujours très juste : http://www.taobackup.com/.

    Pour les NAS, je suis personnellement un utilisateur TRES satisfait des produits Synology ! Ok, comme l'indique le billet de l'atelier du geek, les modèles 4 baies ont un coût élevé...Mais on peut acheter un modèle 2 baies pour le quotidien, et un modèle usb pour les backup réguliers. Le système Synology est assez complet pour gérer les plages d'extinction, la synchronisation (ds cloud), la synchronisation avec un autre nas ou un service de stockage en ligne, ...

    RépondreSupprimer
    Réponses
    1. J'aime bien les produits Synology, mais je ne suis pas satisfait par les produits de backup qu'ils proposent. D'où mon souhait de chercher un NAS DIY à faible consommation sur lequel je peux installer de l'opensource mis à jour par la communauté et plus ouvert à mes besoins.

      Supprimer
  4. Pourquoi ne pas faire tourner les disques 3 & 4 plus souvent? Le offline me parait être la seule solution sûre aux cryptovirus.

    RépondreSupprimer
    Réponses
    1. Parce que c'est chi***, heu, pénible ;-)

      Supprimer
  5. Bonsoir, pour ma part, encore un défenseur de Synology (mais qui n'a essayé que ça), avec un petit NAS 2 baies acheté avant tout pour partager en local les données de la maison, et profiter d'un mirroring très simple à mettre en place. Pas trop compris le principe du chiffrement Synology (à part en cas de vol des disques), j'ai préféré avoir un conteneur Truecrypt monté dessus (c'est la seule partie qui n'est accessible que depuis un PC à la fois) et ça semble plus rapide aussi.

    Pour les risques cryptovirus, incendie, chauve-souris enragée... je m'astreins à dupliquer sur un disque externe USB 3.0 lorsque je rends visite à mes parents, où j'ai recyclé un vieux PC en machine de stockage. J'y fais alors une copie intégrale de partition (la duplication de 2 To ne prend que de petites heures).
    Bien sûr, en cas de nécessité de cette sauvegarde offline il y aurait un "trou" dans le backup, mais au moins ça protège l'essentiel

    RépondreSupprimer
  6. Rsnapshot est l'idéal, nous il nous a permit d'éviter le désatre d'un cryptovirus,
    par contre point de partage samba sur la machine qui le fait tourner.

    En fait je le fait tourner toute les heures entre 7h et 20h. Je garde ces snapshot pendant deux jours.
    Puis je fait un snasphot par nuit que je garde sur une semaine, puis un par semaine sur un mois et pour finir un par mois sur une année.

    L'avantage c'est que rsnapshot utilise les liens en dur, donc si un fichier n'est pas modifié pendant un an il n'est stocké qu'une fois.

    L'avantage de rsnapshot c'est qu'il ne faut pas un logiciel pour restaurer on a les snapshots sous forme de dossier.
    ça fonctionne en ligne de commande et il se base sur rsync.

    RépondreSupprimer
    Réponses
    1. J'abonde également dans le sens de rsync. Je l'utilise en production pour les besoins de ma société et de mes clients.

      Autre avantage: rsnapshot permet également d'appeller des scripts avant/apres l'execution de chaque backup, ou à la place de rsync pour des backups "sur mesure" (ex: dump SQL). Très utile notamment pour chiffrer ou uploader des sauvegardes.

      Supprimer
  7. Je dis peut-être une bêtise, mais pour la partie software pure, pourquoi ne pas utiliser par exemple un serveur comme Seafile, qui prend en charge le versionning et la restauration des fichiers supprimé ?

    Si tu réplique les données du serveur Seafile avec un RAID, et qu'en plus tu fait des backups hors ligne, je pense que tu pare à toutes les éventualités, le versionning te permettant de restorer les fichiers à un état antérieur en cas de cryptovirus ou autre.

    Bref, my 50 cents.

    RépondreSupprimer
    Réponses
    1. Je vas regarder si c'est simple à mettre en place (simple pour moi ;-)

      Supprimer
  8. Sur ma machine de backup, je fais un snapshot (btrfs) avant chaque rsync (--delete) journalier. Je ne garde que les 100 derniers snapshots. J'ai 100 jours pour découvrir un crypto virus...

    RépondreSupprimer
    Réponses
    1. Vous utilisez quelle distribution pour gérer btrfs sur votre machine de backup ? Rockstor ?

      Supprimer
  9. Pour rsync, j'utilise l'option "--link-dest=" pour avoir un cliché apparemment complet. L'option --delete ne fera du ménage dans la version en cours mais pas dans les versions précédente. Cela implique aussi l'usage d'un script de purge (en fonction de la date dans mon cas). Les snapshots sont aussi "remonté" en read-only pour chacun des utilisateurs. Certes il ne faut pas confondre snapshot et backup, mais en premier niveau c'est déjà bien. (Disques externes sur 2 sites pour le vrai backup)

    RépondreSupprimer
  10. Je dois faire parti des derniers à encore faire des sauvegardes sur bande (LTO) pour mes données personnelles. Ce n'est pas donné mais j'ai un support physique par sauvegarde (et qui n'ont aucune raison de rester connecter à l'ordinateur). Je m'astreint à faire une sauvegarde par semaine (conservé sur au moins un an) et une sauvegarde par mois est mise de coté (certaines de ces sauvegardes sont conservées hors site).

    Comme je l'écrivais, ce n'est pas une solution bon marché mais certaines données sont très importantes à mes yeux (comme les photos familiales) et le coût de la sauvegarde reste secondaire au regard des investissements (coût du matériel photo, des voyages, etc.)

    J'ai vu par le passé trop d'incidents (pannes disques, mauvaises manipulations, etc.) pour chercher à faire des économies sur le sujet.

    RépondreSupprimer
  11. Salut,
    Bon alors ce que tu faisais c'était pas vraiment de la sauvegarde, c'était une sorte de RAID1 à travers le réseau, et comme tu as pu le voir ça ne protège pas des suppressions accidentelles ou altérations de données.
    Il faut un système de sauvegardes avec roulement afin de revenir en arrière si une galère se produit.
    Perso j'ai aussi un HP Proliant microserver, sous FreeNAS, et j'ai une jail avec backuppc pour sauvegarder tous mes serveurs ;)

    RépondreSupprimer
    Réponses
    1. C'est ce que j'essaye de mettre en place. Work in progress...

      Supprimer
  12. Je remarque que votre solution ne vous protège pas du vol ou destruction de votre maison.
    J'ai aussi un synology en raid 1, et je remplace tous les mois un des deux disques par un 3ème que je laisse au bureau. J'ai donc en permanence une sauvegarde mirrorée à la maison, et une sauvegarde déconnectée au bureau.

    RépondreSupprimer
    Réponses
    1. C'est ce que j'ai mis en place. Faites attention à bien protéger le disque stocké au boulot contre le vol si vous avez des données confidentielles.

      Supprimer
  13. c pas juste un probleme d interpretation du switch 'del' de rsync?
    si tu del, tu fais pas de la sauvegarde ms de la sync il me semble...

    RépondreSupprimer

Lectrice, admiratrice, avocate, magistrate, programmeuse, dessinatrice, chère consœur, femmes de tous les pays, lecteur, j'ai toute confiance en vous pour prendre bien soin de vérifier que votre prose est compatible avec les normes orthographiques et grammaticales en vigueur. Et si vous pouviez éviter les propos insultants ou haineux, je vous en serais reconnaissant.
N'hésitez pas à respecter ces quelques règles qui peuvent même s'appliquer en dehors de ce blog.

Les commentaires sur ce blog sont modérés. Votre message apparaîtra sur le blog dès que le modérateur l'aura approuvé. Merci de votre patience.