En 1986, mon « chaton » de l’époque tournait sur 4 Apple II avec un disque dur partagé…
Voici un petit article sur le sujet: https://www.computel.fr/2019/11/08/le-stockage-de-donnees-de-1986-a-2019/
EXCELLENT !
(tu pourras faire un chti texte sur ton truc Infiniband 40Gbps : ca m’intéresse à fonds ce truc ! (car j’ai vu le prix pour mettre du 10GB c’est hors de prix les commut. en 10Gb) )
Pour le hardware Infiniband:
- cartes PCIe mono ou double port pour environ 25 €
- câbles (1 ou 2m) pour environ 30€, plus long ça coûte cher car on passe en optique
- switch… on trouve des 36 ports pour moins de 100€, inutile pour relier 2 machines
Côté soft…
modprobe ib_ipoib
ça monte le module IP over Infiniband… un nouveau port réseau apparaît, plus qu’à lui donner une IP et voilà
j’ai commencé à regarder. effectivement les commut sont vraiment pas trop chers .
Dés que j’aurais un peu plus d’air niveau argent je me prendrai un commut pour la partie … CEPh (système de fichier distribué, idem que pour toi )
car il me faudra :
- 3-4 cartes PCIe (un port par noeuds , pour l’instant j’en aligne trois) (4 x 25 = 100€),
- un commut (36 ports houla … je vais en utiliser 3 ou 4 ! lol) (100€)
- cable ben 3 de 50 cm à peine.
Par contre question sur les commut infiniband :
- est-ce complexe à administrer (cli ou webgui) ?,
- les débits annoncés (40Gb) : c’est par port ?, fullduplex ?
- le fonds de panier commute à combien (si je suis le truc 36 x 40Gb !!!)
- Pourquoi c’est abandonné ? ou si peu cher ?
- zéro administration pour moi, c’est du traffic « arrière », je laisse tout par défaut
- fullduplex ou pas, à vrai dire j’en sais rien. je ne monte pas à 40, mes tests tournent entre 15 et 20, mais bon, ça va déjà très bien comme ça et c’est sûrement pas couche ip over ib qui limite
- oui, le Voltaire 4036 est annoncé avec 2.88 Tb/s : https://www.mellanox.com/related-docs/prod_ib_switch_systems/4036.pdf
- abandonné ? non… remplacé par du 100 puis du 250 qui avec des liens agrégés monte jusqu’à 3Tbps, donc le 10 et le 40 sont vendus au poids (comme une carte Ethernet 10baseT aujourd’hui)
PS: ne regarde pas la conso du switch 
lol , pour la conso. vu les blocs … je t’ai même pas demandé 
.
(106W, mais bon je vais en mettre un seul , hein … pas les 5 commut. de mon infra !)
Mais c’est une piste hyper intéressante, et puis ces débits (vache) … ca foutra un sacré coup de pieds au cul à mes accès ceph (j’ai pas de grosse montée en charge donc mes 13-64MB/s me suffisent).
Edit : toi tu dois bosser chez EDF … enedis … ou je sais plus le nom.