Partage de backups entre CHATONS : vers une expérimentation?

C’est toujours en cours, je suis proche de la fin mais j’ai du mal à prendre du temps pour le terminer (j’ai encore un problème pour le montage du disque virtuel). J’espère pouvoir faire ça sur noël. Une fois cette étape faite, je serai chaud pour passer en beta test.

1 Like

Bonjour,

J’ai toujours en projet de pouvoir rejoindre un duo de chatons pour faire le troisième d’un cluster Garage.
Je suis justement en train de faire une refonte de mes sauvegardes d’hébergement.

Actuellement, je finalise l’usage de Restic en mode « sftp » pour faire des archives chiffrés et incrémentales (un peu mieux qu’un simple « rsync » boeuf :wink: )

Ensuite, je me crée un petit serveur S3 (probablement avec MinIO) pour éprouver ma mécanique de gestion d’archive en changeant le support Restic de « sftp » vers « S3 ».

Normalement, en début de janvier 2023, je serais fin prèt pour rejoindre un cluster Garage :slight_smile: .
Par contre, mes besoins et mes moyens materiel sont petit : je ne pourrais qu’allouer ~200Go de stockage pour l’instant (mes sauvegardes fond ~90Go ) :confused:

200 Go ca correspond à la taille des noeuds que nous avons choisi d’utiliser pour expérimenter garage de notre coté.

Je l’avais testé mais avec une partition dédiée, pas avec le mécanisme de disque virtuel.
L’install s’était bien passée mais je n’ai pas encore essayé de lui faire rejoindre un ilot avec d’autre serveurs.

Fait

1 Like

Pour info, l’application garage pour yunohost peut être testée pour ceux qui veulent. Elle n’est pas encore intégrée au catalogue yunohost mais disponible ici maintenant GitHub - YunoHost-Apps/garage_ynh

Je suis preneur de retour !

2 Likes

Bonjour Les Chatons backupés :stuck_out_tongue:

Je me permet de vous faire un petit retour l’amélioration de mes sauvegardes en vu de pouvoir rejoindre la démarche Garage :).

Mon contexte:

  • Tout plein de petit héberement, chacun de mes « clients » ont un sous-domaine en « sleto.net » avec les différents services qu’ils ont souscrit
  • Faire des sauvegardes par sous-domaine, afin de pouvoir restaurer (si besoin) chacun indépendament des autres.
  • Faire très régulièrement des sauvegarde, l’idée étant d’arrivé à en faire toutes les heures pour des services « léger » (ex: juste une DB à sauver) à tout les jours (ex: NextCloud)

Au début, je suis parti pour déployer ma sauvegarde avec Restic vu que certain d’entre vous ont des très bon retour.
Le problème, c’est qu’avec le nombre de sous-domaines, je dépassais les 70 min pour réaliser mes sauvegardes :confused:

J’ai donc changé mon fusil d’épaule et je suir parti avec Rclone (avec crypto mais sans compression). Il ne possède pas de notion d’incrément, j’ai donc mis en place des sauvegardes avec « timestamp » pour garder toutes les versions et j’ai un script qui nétoie régulièrement les vieux « doublon » (un genre de prune/forget de Restic).
Cette solution est beaucoup plus rapide: je fais mes sauvegarde entre 3 à 4 fois moins de temps :slight_smile: .

Reste à me brancher sur S3 (Rclone le suppport aussi comme Restic).

Voilà pour mon retour, si cela peux servir à ceux qui se casse les dents sur leur backup :wink:

2 Likes

hmmm intéressant :slight_smile: Du coup rclone peut elle être un alternative à scp , cryptage en plus ?

Oui, j’ai trouvé rclone assez interessant d’autant plus que je le trouve assez léger dans son usage.

Permet de faire du SCP (SFTP) et du crytage (Crypt).
Et si l’on veux passer à Garage, il support également S3 (Amazon S3).

J’ai pas testé, mais il a également de la compression (Compress).
En faite, vu que je manipule pas mal de documents déjà comprimés (tar.gz, pdf, OpenDocument, jpeg, …), je risque de plus perdre en temps de traitement pour ce que je vais gagner en Go.

Du coup, je suis partie sur une organisation crypt+sftp pour commencer.
Dans quelque temps, quand j’aurais bien éprouvé cela, je passerais à un ensemble crypt+S3 (via Minio).
Et pour finir, je bougerais alors en crypt+S3 (via Garage), ce qui ne devrait pas être le plus compliqué du coup.

Mhhh, je viens de voir ce post, j’attendais un package yunohost pour tester ça. Je vais essayer de mettre ça en place sur une machine dédié ce weekend.

Pour info, je viens d’ajouter l’application garage au catalogue, il faudra une quinzaine de jours pour qu’elle soit directement disponible normalement.

2 Likes

Hello Laurent, merci pour ton retour ! Est-ce-que tu peux nous dire le volume des données sauvegardées ? Est-ce-que le fait de ne pas dédupliquer te fait utiliser + d’espace, ou bien c’est négligeable ?

Pour info, côté Picasoft, on a pas oublié ! On attend l’AG pour parler matériel, et on devrait d’ici un ou deux mois dédier des disques à un cluster Garage partagé.

J’ai confiance sur le fait que ce sujet avance doucement mais sûrement, comme il y a un besoin et des personnes motivées. J’espère que d’ici l’été, on pourra diffuser un peu plus largement.

Bonne semaine à tout·es :wink:

1 Like

Je dois être à environs ~600Go de sauvegarde pour 45 structures hébergé.
En fait, justement je duplique les données: chacun structure est sauvé toutes les heures et j’en concerve 1 sur les 7 derniers jours et les 6 derniers mois (soit 24 + 7 + 6 = 37 sauvegarde au max)
Du coup, ma technique est gourmande en place mais asssez rapide (en 10 min, je sauve les 45)

L’app est dans le catalogue :smiling_face_with_three_hearts: