05 mai 2013

Stockage

La semaine dernière, j'ai reçu un ordinateur sous scellé à fin d'analyse. Pour une fois, il ne s'agit pas de recherche d'images pédopornographiques, mais de retrouver des conversations électroniques.

J'ouvre le scellé, et en extrait le disque dur pour analyse. Le disque dur fait 3To...

Bon, c'est normal, les capacités des disques durs vont en augmentant, mais après vérification, je ne dispose pas de disques durs suffisamment grands, et mon NAS personnel est presque plein. Comment faire une copie pour analyse, sachant qu'il me faut facilement le double de la taille du disque d'origine: pour l'image bit à bit, pour le fonctionnement en VM et pour toutes les données extraites ?

Sachant que le budget de la Justice, déjà exsangue, n'est pas prévu pour m'offrir un joli NAS, et que tout le monde compte sur mon travail d'analyse, rapide, fiable et PAS CHER... il me faut trouver une solution.

Twitter étant mon ami, je lance un tweet SOS à ceux qui me suivent sur le compte @Zythom. Et me voilà en train de tester plusieurs outils gratuits dont je vais un peu vous parler aujourd'hui.

Tout d'abord, il se trouve que je dispose d'un nombre invraisemblable de carcasses d'ordinateurs qui remplissent mon bureau, entre vieilles cartes mères et webcams-qui-ne-marchent-que-sous-XP. J'ai donc cherché dans le lot un vieux PC avec une carte mère acceptant les disques durs SATA. Me voici avec un NEC "Pentium 4" datant du temps où l'on nommait les PC du même nom que leur processeur.

Une fois la poussière priée d'aller sur les objets alentours, je pars en chasse d'un clavier et d'une souris PS2, d'un écran fonctionnel, d'un cordon d'alimentation et d'un câble réseau catégorie 5e au moins.

En regardant bien la carte mère de cette vieille machine, je compte 4 ports SATA et deux ports IDE. Je fouille alors dans mon stock de disques durs dédiés aux expertises, et j'en extrais un vieux disque dur IDE de 40 Go, deux disques SATA de 3To et un disque tout neuf de 4To.

Me voici prêt à tenter de construire un NAS avec ça.

Les followers qui ne dormaient pas au moment où j'ai posé ma question m'ont proposé les produits suivants:
- Nexenta Community Edition
- XPEnology
- OpenMediaVault
- OpenFiler
- FreeNAS et
- NAS4Free

J'ai testé ces produits avec la machine que j'avais assemblée de bric et de broc. Voici mes constatations, et je demande aussitôt aux passionnés de ces produits de me pardonner mon test simpliste (je ne suis pas un labo de tests non plus!):
- Nexenta CE n'a pas reconnu mes disques durs;
- XPEnology n'a pas fonctionné de manière stable malgré tous mes efforts (je dispose déjà de deux NAS Synology, un vieux DS209j et un DS713+ flambant neuf, donc j'étais motivé);
- OpenMediaVault n'a pas réussi à faire booter ma machine;
- OpenFiler n'a pas reconnu mon disque dur de 4To lors de la configuration SoftRAID;

Le développement de FreeNAS ayant été repris par une société commerciale, j'ai directement testé NAS4Free qui est la suite du développement du code originel de FreeNAS. NAS4Free a reconnu l'ensemble de ma configuration, aucun message d'erreur n'est apparu lors de la constitution du RAID0 qui a aggloméré tous mes disques durs (sauf celui de 40Go qui sert uniquement pour le système au démarrage).

Mon choix s'est donc arrêté sur  NAS4Free.

J'ai donc maintenant un NAS de capacité 10 To 9 To qui me permet de mener à bien la mission d'expertise qui m'a été confiée. L'accès aux disques est rapide, l'incorporation dans mon réseau privé très simple, le partage des données entre machines Linux ou Windows est simple à paramétrer. Bref, une solution que je recommande à tout ceux qui ont un besoin rapide de stockage pour pas trop cher.

Seuls inconvénients: la consommation et le bruit, légèrement supérieurs à ceux de mon NAS perso Synology DS713+ sur lequel s'appuie toute la famille.

Mais si le dernier reste allumé en permanence toute l'année, le NAS4Free ne reste allumé que le temps d'une expertise, c'est-à-dire... quelques nuits ;-)

Ma prochaine étape sera de faire l'achat que quelques cartes PCI multiports SATA pour augmenter la capacité de mon NAS improvisé. Je dois pouvoir atteindre les 16 disques durs de 4To, soit 64To!

Ensuite, pour passer à 180To, je testerai le pod de stockage Backblaze que Korben m'a fait découvrir.

De quoi voir venir ;-)

--------------------------------------------------------------------------
Source image: inpic.ru

10 commentaires:

  1. J'ai pas bien compris : « deux disques SATA de 3To et un disque tout neuf de 4To », ça ne contredit pas « je ne dispose pas de disques durs suffisamment grands » ?

    RépondreSupprimer
    Réponses
    1. J'explique plus loin dans le billet qu'il me faut environ deux fois la taille du disque à analyser, donc ici 2x3To.

      Supprimer
  2. Si je ne dis pas de bêtise, le RAID 0 sur des disques de capacité différente prend en compte la taille du disque minimum, donc votre RAID-0 ne devrait faire que 9 Go, non ?

    RépondreSupprimer
    Réponses
    1. C'est effectivement le cas ici, 3x3To. Je corrige.

      Supprimer
  3. Bonjour,
    Nous installons des serveurs sous Linux pour des clients, toujours en RAID Soft avec mdadm sous Linux (Debian) et je peux dire que depuis ces années nous n'avons eu aucun problème, même lors de remplacement de disques. Le seul problème que j'ai eu sur un serveur a été lors de l'utilisation d'une carte RAID Adaptec :-D
    Le dernier serveur installé : 8 disques de 3 To en RAID6 en RAID logiciel et le serveur tourne impec, il a été installé pour sauvegarder un autre serveur qui 8 disques de 1 To en RAID 5 et 4 disques de 2 To en RAID 5 également.

    Je n'ai par contre jamais essayé NAS4Free qui semble intéressant et que cet article m'a fait découvrir.

    ATTENTION à ceux voulant se lancer dans le montage d'un NAS, le RAID 0 ne garanti pas la conservation des données en cas de casse de l'un des disques pour cela un volume en RAID 5 ou RAID 6 est recommandé. On peut également, afin d'éviter les pannes simultanées sur plusieurs disques de la même grappe, les acheter à des moments différents et chez des fournisseurs différents afin d'avoir des disques de séries/usines différentes.
    Je ne sais pas si NAS4Free le fait par défaut mais il faut également surveiller les données SMART des disques et avoir des alertes lorsque des clusters sont HS par exemple, cela permet de changer le disque avant la panne ou d'éviter d'avoir plusieurs sur le point de lâcher en même temps.

    RépondreSupprimer
  4. Nas4free s'occupe aussi des données smart.

    RépondreSupprimer
  5. Bonjour,

    Juste 2 petites questions pour information.
    Pourquoi ne pas avoir choisi FreeNAS alors qu'il est toujours sous licence libre ?
    Quel inconvénient voyez-vous dans le fait que le produit soit racheté par une entité commerciale ?
    Cordialement.
    ps : bon sstic

    RépondreSupprimer
  6. Nas4Free est une excellente solution, robuste modulable et fiable.Pour les problèmes de nuisance sonore, j'ai résolu cela en le virtualisant dans VMware workstation,
    hyper-v de microsoft ne permet pas la virtualisation de machines debian.
    par contre cela deviens intéressant quand on dois le reconstruire ou sauvegarder l’intégralité du contenu.
    il suffit de copier le fichier .vmdk afin de reconstruire cela ailleurs ou le stocker sur un disque externe.
    Nas4free a conserver par rapport a freenas dans sa nouvelle mouture, par exemple le serveur web qui permet d’accéder a distance par le port de votre, alors que freenas vous permet de le faire mais via un protocole ftp.

    voila j''aime beaucoup votre blog, je vous lis très souvent et cela est très instructif, et très bien écrit ;)

    RépondreSupprimer
    Réponses
    1. Pour ne pas surcharger le billet, je n'ai pas développé la solution complètement retenue: un ESXi de Vmware dans lequel j'installe toutes les VM que je mets en place (dont NAS4Free). Cette configuration permet entre choses en effet de faciliter la sauvegarde des VM, par snapshot ou par simple copie de fichiers.

      Merci pour vos encouragements, cela me fait toujours très plaisir :-)

      Supprimer
  7. FreeNAS ou NAS4Free s'appuient sur ZFS pour le stockage. Quand vous dites qu'il vous faut deux fois la taille du disque à copier, vous pourriez en fait tabler sur... mettons 1,5 fois cette taille. Je m'explique. ZFS vous permet de réaliser des snapshots de volumes. Vous prenez donc votre image disque originelle. Vous en faites un snapshot. Une fois ce dernier effectué (c'est quasi instantané) vous avez "deux fois" votre image d'origine pour un encombrement disque équivalent à une image. Le snapshot (par défaut en lecture seule) ne va pas bouger pendant que l'original, monté comme un disque d'une VM, sera modifié. L'espace disque augmentera tout doucement à mesure que l'original divergera du snapshot. De plus, vous pouvez, au moment de la création de vos volumes ZFS, les déclarer comme étant compressés, pour économiser de l'espace disque (au détriment d'une consommation CPU plus élevée...). Il y a bien aussi possibilité pour ZFS de faire de la déduplication à la volée (ce qui vous serait sûrement utile) mais là il faut investir dans une "bête de guerre" dotée d'énormément de RAM (car ZFS stocke tous les checksums de tous les blocs de tous les disques si possible entièrement en RAM (pour la vitesse)).

    Vous évoquez dans les commentaires le fait d'utiliser ESXi. Si vous disposez de deux machines, l'une pourrait être le serveur ESXi et l'autre le serveur de stockage, auquel ESXi serait connecté par NFS... L'un ferait tourner vos VMs et l'autre les stockerait (avec la possibilité de les cloner au niveau ZFS).

    RépondreSupprimer

Lectrice, admiratrice, avocate, magistrate, programmeuse, dessinatrice, chère consœur, femmes de tous les pays, lecteur, j'ai toute confiance en vous pour prendre bien soin de vérifier que votre prose est compatible avec les normes orthographiques et grammaticales en vigueur. Et si vous pouviez éviter les propos insultants ou haineux, je vous en serais reconnaissant.
N'hésitez pas à respecter ces quelques règles qui peuvent même s'appliquer en dehors de ce blog.

Les commentaires sur ce blog sont modérés. Votre message apparaîtra sur le blog dès que le modérateur l'aura approuvé. Merci de votre patience.