Le matériel de Deuxfleurs est décrit ici : Production | Guide Deuxfleurs
Chez Exarius, nous avons fait le choix de n’utiliser que des Single Board Computer (SBC, ou encore Serveur Basse Consommation) en privilégiant l’occasion et les architectures ARM (et, on l’espère, RISC-V ensuite). Chaque serveur est protégé par un onduleur regroupant le serveur et les tous les équipements nécessaires à son accès tel le modem.
Voici nos trois serveurs pour les services proposés :
- Odroid-HC4 (aarch64) avec 4 Tio en HDD
- Raspberry Pi 4 (aarch64) avec 4 Tio en HDD
- Raspberry Pi 4 (aarch64) en centre de données hébergeant le VPN Wireguard et les services de supervision.
Davantage de détails sont présentés ici.
Aussi, un nouveau serveur est en test : une ZimaBoard (amd64) avec 8 Gio de RAM et 4 Tio en HDD (notamment pour les besoins de Nextcloud et surtout OnlyOffice)
Bravo pour votre doc. technique !
Super, je vois qu’on a de belle installations.
me plait bien 
J’ai lu que tu avais eu des déconvenues avec des SSD?
Il faut que je fasse des photos de ma tanière quand elle sera au point…
Pour le moment je refais tourner NextCloud, et me pose la question du moment où le « disque va être trop petit »…
Comment vous gérez cela?
En migrant le gros utilisateur sur un système avec un plus grand stockage, comme je galère à le faire? Vous avez des scripts d’automatisation pour cela? Ou vous utilisez un système de « stockage extensible » ? Lequel ? Quels perfs en LAN en WAN ? Bref. Je voudrai bien ne pas retomber sur ce problème sans y être préparé…
Non, j’'ai marqué ça où ?
Retzien.fr : quand c’est plein on arrête de prendre des nouveaux et on tâche d’essaimer (et c’est bientôt plein)
Retzo.net : disque extensible (VPS)
Mais globalement Nextcloud c’est pas méchant à migrer / déplacer les données… Tu le met en mode « maintenance » tu déplace/copie/ajoute un disque selon tes choix technique et/ou tu fais pointer le « data » (config : datadirectory) vers un nouveau disque… tu rallume la lumière et ça continue.
Ce qui te parait simple est un sacré paquet d’actions pas si triviales pour moi.
Entre les rsync, les droits d’accès, la distrib, façon dont Nextcloud a été installé : yunohost, raspbian, docker, … c’est l’évolution que je réalise
Si je comprend bien. On pourra finir par faire un docker qui s’occupe de ça.
si tu as des bash ou « code goodies » pour migrer Nextcloud à partager, je suis preneur
L’infra de Picasoft est décrite ici 
https://wiki.picasoft.net/doku.php?id=technique:tech_team:pres_infra
Côté Gozmail :
- Notre serveur principal est un Dell R230 avec 24Go de RAM et 4To de disques en RAID1 hébergé dans la baie FAIMaison à Nantes
- Opéré par un Proxmox pour isoler chaque service technique (mails, NS, web, blogs, bugtracker, etc)
- Une VM chez Grifon pour servir de NS secondaire et MX backup
- Une VM chez TTNN avec 2,5To de disque pour le backup principal
- Un object storage/glacier chez OVH pour le backup secondaire
Notre choix est de se faire héberger en datacenter principalement chez des FAI associatifs, et principalement en Bretagne (Rennes et Nantes).
Salut, quel logiciel utilises-tu pour faire le schéma https://exarius.org/images/wiki/tech/infra.png ? c’est très réussi.
PS : je ne peux pas t’envoyer de message privé sur le discourse, profil « caché ».
1 « J'aime »
Chez Katzei on a fait le choix d’être en full auto-hébergé (sur deux sites pour l’instant, je ne désespère pas d’ouvrir un 3eme site) voici nos machines:
- un serveur avec un AMD R7-2700 + 64 Go de RAM + 2To SSD +2ToHDD comme hyperviseur principal pour les services)¹ ⁴
- un serveur avec un Intel I3 -5010U + 8Go de RAM + 128 Go SSD + 128Go SSD comme serveur de supervision publique ²
- un serveur avec un Intel Celeron J3160 + 4Go de RAM + 4To HDD ³ ⁴
notes :
¹ aussi utilisé pour héberger des services persos
² aussi utilisé par le membre qui l’héberge pour des services perso
³ aussi utilisé comme NAS perso
⁴ ces machines on des stockages supplémentaires dédiés a des usages hors Katzei
Je me rend compte que notre documentation matérielle n’est pas du tout a jours.
A la lecture du détail de toutes vos tanières, je me demande si certains installent leur machines chez les gens directement?
En utilisant des MiniPC ou Purism– Librem Mini, on peut disposer de machines performantes et abordables qui peuvent être installé dans « le salon de ceux qui ont la fibre » en modifiant juste la box internet.
Selon la quantité de donnée (on brasse vite 100 Go à 300 Go / individu), cette approche est plus économique que les offres online" comme par exemple : Cloud Pro - ZACLYS
Avec le « Geek & F00d Bus » on va rencontrer ceux pour qui leur souveraineté numérique est importante et les assister à installer les bons logiciels libres chez eux. Plutôt que de proposer plein de services. L’idée serait d’arriver à une version BOX avec les services qui suffisent à un max de gens. On en discute sur Matrix
Avec ReflexLibre, je propose des yunohost chez le client directement. Mais dans les faits c’est marginal: un client où c’est moi qui gère tout le serveur et ce dernier n’est pas exposé sur le net (intranet) et un autre en mode conseil (pas de contrat d’infogérance) sur ce qu’il ne savent pas gérer par eux même.
katzei est exclusivement auto-hébergé. on a des machines chez deux membres (peut être bientôt un 3 eme si je trouve une carte mère appropriée)
Par contre on ne pose pas de machines chez les utilisateurs (on est trop petit pour gérer les problèmes qui vont avec comme les £%$ù box des opérateurs)
@infini peut enfin répondre à ce thread maintenant qu’on a publié un descriptif de notre infra. On souhaitait le faire depuis longtemps, c’est encore un peu succinct, mais au moins c’est fait
2 « J'aime »
Je pense que l’approche location en datacenter peut être actualisée par l’installation de l’infra chez les gens (la fibre c’est du 50MB/s)… La modification de la BOX internet n’est pas si compliquée, ça le devient quand on a besoin de placer plusieurs services qui tournent sur plusieurs machines dans le LAN.
Il faut installer un proxy, load-balancer HTTP / SSL.
J’ai récemment découvert nginx-proxy + acme-companion et myos qui permettent cette prouesse…
@Meewan je suis curieux de la façon dont tu gères les install
un petit tuto , un peu de doc serait super.
La modification de la BOX internet n’est pas si compliquée
ça c’st la théorie, en pratique entre les FAI qui sabotent les routeurs de box et les firmware buggé, parmi les gros FAI, il n’y a que chez free qu’on peut faire des choses intéressantes.
- Orange ne permet pas de changer le DNS, pas d’ip fixe (ou alors surcout énorme), port 25 non déblocable. A l’époque ou j’avais testé la box ne gérait pas le hair pinning (le fait de contacter l’interface externe de la box depuis l’extérieur) ce qui oblige a faire des bidouilles de DNS assez tordues.
- SFR pas tsté
- Bouygues: pas d’ip fixe officielle (mais on peut la forcer en activant l’administration a distance), pas de possibilité de changer le DNS distribué par le DHCP (théoriquement on peut en pratique c’est buggé et ça ne marche pas. Si on active l’administration a distance les redirection des ports 80 et 443 ne marche pas on est obligé de faire une DMZ.
- Free tres bon débits (down 1Gbps / up 700 Mbps) routeur bien configurable ip fixe complète sur demande (une case a cocher sue le site) port 25 ouvrable. IP blacklisté pour le mail (obligation de passer par un relay) firewall non configurable (surtout en ipv6)
@Meewan je suis curieux de la façon dont tu gères les install
- Sur la machine principale il y a un proxmox et une collection de vm dessus. Chaque machine est administré a la main
- Sur le petit serveur il y a un proxmox et 2 vm (une pour gérer le réseau/infra et une pour le service)
- Sur le NAS tout est en bare metal. c’est une erreur mais l’install date de 2016 et tout refaire serait assez compliqué.
Pour la gestion des VM on fait tout a la main, aidé par une supervision (icinga) qui nous préviens pour les mise a jours de paquets. Chaque site expose soit un port ssh (authentification par clef, et configuration durcie) soit un serveur vpn (idem) pour l’administration distante.
Si tu as des questions plus précises (ou que je n’ai pas répondu a ta question) hésites pas 
Personnellement, j’ai abandonné yunohost… Même si LDAP et le SSO sont alléchants, cela impose trop de limite… Je préfère finalement l’approche docker.
Tu dois vouloir parler de la combinaison nginx-proxy + acme-companion et myos ? Je suis rentré en contact avec les mainteneurs… J’espère qu’ils pourront me transmettre leur « art de faire ». J’en profiterai pour documenter
Tu as certainement raison… Le droit à gérer et expédier des emails est devenue un cauchemars.
Si on intègre l’existence de tout ces problèmes. Du coup, il vaut mieux ne pas se lancer dans l’autohébergement email et garder ce service pour le WAN.
De ce que tu remontes, avec un service de DNS dynamique (et une modif /etc/resolv.conf ou DHCP local) on peut contourner les soucis avec une machine configurée en « proxy/ssl » vers les autres services du LAN.
C’est là tout le phénomène disruptif de la « loi de Moore »… L’obsolescence du matériel est rapide… Mais je ne peux m’empêcher de voir le déploiement de la fibre comme une opportunité à déployer l’infrastructure « chez nous » en « coopérative co-propriétaire » plutôt que de la louer dans des « fermes de serveurs ».
Si ça vous dit, à l’instar de cette pub, on peut construire des « Eco-parkings Logiciels »
C’est ce qu’on fait chez Retzien.fr , on est auto-hébergé derrière des box à papa pour tout les services chez des membres du bureau de l’asso mais pour le trafic sortant e-mail on passe par mes passerelles/relais e-mail retzo.net ce qui permet de gérer ça plus calmement…
Le problème n’est pas l’obolescence matériel (la machine est bien trop puissante pour ce que j’en fait et bien supportée par debian.
Le problème est que je l’ai installé comme une NAS perso et que remonter out les services que je fait tourner dessus (samba, nfs, mdadm etc…) serait long et pénible pour un gain relativement faible.
Je fais de l’auto-hébergement en perso depuis la sortie du premier raspberry pi (2012) et si raspberry pi 1 v2 (256Mo de RAM) est trop petit pour faire quoi que ce soit aujourd’hui, mon serveur suivant (le petit serveur de Katzei) est encore largement suffisant pour de l’auto-hébergement perso. Je pense que le serveur actuel de Katzei (construit été 2019) devrait tenir une dizaine d’années (on a pas du tout prévu que Katzei grandisse exponentiellement. Quand il n’y aura plus de place pour accueillir de nouveaux utilisateurs, on fermera simplement les inscriptions).
edit: et j’ai oublié de te répondre sur la partie intéréssante de ton message:
Si ça vous dit, à l’instar de cette pub, on peut construire des « Eco-parkings Logiciels »
Malheureusement tant qu’on sera en ipv4 ce n’est pas possible. Il est bien trop difficile d’obtenir plusieurs ipv4 sur une box.C’est une des grosses limitations de mon infra, n’avoir qu’un seul jeu de ports (j’aimerai par exemple un deuxième serveur en réception pour le mail mais je n’ai qu’u port 25). L’autre probleme est d’accepter des personnes inconnu sur ce qui reste un réseau perso avec des routeurs qui ne permettent pas de gérer proprement les vlan (ou alors j’ai pas vu dans la conf de la freebox). Enfin mon salon ne permet pas ce genre de choses. A la limite quelqu’un avec un garage qui pourrait se permettre d’avoir des serveurs bruyants et un niveau tres solide en réseau (que je suis loin d’avoir) pourait peut être le faire.
Je crois qu’il y a deja des assos (dont des chantons) qui louent des machines a des tiers mais j’ai plus les noms en tête.