Monter un cluster Garage avec Yunohost pour héberger des backups

Tech Infrastructure
, ,
1

En lisant la doc’ Deployment on a cluster | Garage HQ
voilà ce que je commence en suivant XFS : la puissance Linux pour gros volumes | DevSecOps :

  • Créer une partition /dev/sdX1
sudo fdisk /dev/sdX
Command (m for help): n
Partition number (1-128, default 1): 
First sector (34-15628053134, default 2048): 
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-15628053134, default 15628053134): +7812500000 (4000000000000/512 bytes)
Created a new partition 1 of type 'Linux filesystem' and of size 3.6 TiB.
  • Créer la partition avec le système de fichiers XFS

sudo mkfs.xfs -L data_xfs -m crc=1 /dev/sdX1

  • Récupérer UUID depuis gnome_disks
  • Editer /etc/fstab

UUID=xxxxxxxxxxxxx /mnt/data_xfs xfs defaults 0 0

2

Si je te suis, est-ce que je peux installer l’app Garage d’abord, pour vérifier qu’elle s’installe bien sur une instance Yunohost en machine virtuelle ?

Est-ce que je dois aussi avoir 4 To de libre ?

3

La taille dispo sur le cluster sera celle du noeud avec le plus petit disque. Moi j’ai un HDD de 8TB et j’ai créé une partition XFS de 4TB pour l’instant. XFS peut être agrandi mais pas réduit.
Donc le mieux serait qu’on se mette d’accord sur la taille qu’on veut allouer pour le moment. Si on a tout.es un HDD de 8TB on peut commencer à 4 et agrandir le jour où les 4 seront plein. D’ici là on peut faire ce qu’on veut des 4TB (genre mettre des backup borg classiques.

Je t’ai envoyé les infos en MP. Tu peux aussi installer garage_ynh pour tester sans renseigner les infos (laisser paramètres par défaut), au pire tu la réinstalleras. Pour la configuration définitive de l’app il faudra :

  • rpc_secret have to be a 32-byte hex-encoded random string. See Configuration file format | Garage HQ for more information" → à ne plus toucher sauf redémarrage d’un nouveau cluster
  • 1 bootstrap_peers par noeud du cluster, de la forme 1799bccfd7411eddcf9ebd316bc1f5287ad12a68094e1c6ac6abde7e6feae1ec@example.tld:1234
4

@deuxfleurs on a identifié quelques améliorations à faire au paquet après lecture des Best Practices et discussions sur le salon matrix garage → GitHub · Where software is built
Cela le rendrait probablement plus utilisable en pratique dans des use-case d’auto-hébergement hors cluster / datacenter

5

GautGaut, j’ai regardé les issues et pas tout compris les enjeux haut niveau autour de l’intégration de Garage dans Yunohost, et je n’ai pas compris comment les issues peuvent être actionnables pour nous.

Peux-tu me lister exactement ce que tu attends de nous ? Exemple :

  • Mettre à jour la documentation sur garagehq.deuxfleurs.fr
  • Ajouter/modifier un paramètre de configuration
  • Rajouter telle ou telle fonctionnalité
  • Optimiser tel ou tel truc
  • Corriger tel ou tel bug
6

Le premier point c’est qu’il me semblait que le paquet YunoHost avait été créé à l’origine par un.e contributeur.ice Garage, mais j’ai dû me tromper. Donc on pensait que les choix faits dans le déploiement de l’app via le paquet étaient justifiés par des contraintes techniques de Garage. Mais après discussions sur le salon matrix garage il s’est avéré que certains choix n’étaient visiblement pas/plus justifiés, du moins avec la v2 actuelle de Garage.

Du coup ce qui serait chouette ce serait au moins de clarifier ces issues avec des contributeur.ices Garage pour que les contributeur.ices YunoHost puissent mettre à plat le paquet par rapport aux contraintes actuelles de Garage.

Cela peut aussi passer par

en particulier la section Best Practices

L’idéal serait d’avoir une recommandation de méthode de déploiement pour une config de type auto-hébergement à la maison :

  • sur NUC/ARM
  • métadata sur SSD (ext4?)
  • data sur HDD USB3/Sata (XFS?)
  • Système Debian ou YunoHost avec systemd donc
  • non-dockerisé
  • ni snapshot, ni redondance pour les métadata
  • risque de coupure électrique ou débranchement par un chat :wink:
1 Like
7

ping @deuxfleurs on est un peu bloqués faute d’input. Notre prochaine réunion technique est le 6/11 à 21H si la discussion en live est plus efficace ⚙️ Slash, la soirée de l'infra - Mobilizon

8

Je répond très rapidement sur les recommendations :

  • metadata sur SSD → formater en BTRFS ou ZFS, ne pas utiliser un filesystem comme ext4 qui ne fait pas de checksumming

  • configurez les snapshot automatiques des metadata, c’est absolument indispensable

Ça c’est question fiabilité. Si possible utiliser une réplication d’au moins 2 aussi pour une question de fiabilité.

Pour le reste, pas de recommandation particulière à apporter.

1 Like
9

Merci, voilà un début de PR pour améliorer le paquet YunoHost https://github.com/YunoHost-Apps/garage_ynh/pull/49