Datacenter / machines / conseils

#1

Bonjour!

Chez IndieHosters, on veut se lancer dans le hardware, ça y est!

On va commencer en douceur, et juste créer notre cluster ceph de backup.

Nos requirements:

  • 3 machines d’occase (pour l’environnent) avec:
    • 1 CPU AMD de pref, mais bon… Si Intel ou PowerPC ou ARM, on prends aussi, on est joueurs :wink:
    • possibilité de libreboot idealement
    • 6 slots HDDs mini (changement a chaud c’est un plus :wink: ) (pas de raid, c’est pour du ceph)
    • 2 SSDs 1TB ou 500GB
    • 2 HDDs > 4TB
    • 1NIC 10GB (avec le switch qui va bien)
  • 1 address IP (v4, v6, peu importe) mais une seule machine doit exposer du s3
  • downlink > 1Gbps (oui pour les backups, c’est pas le uplink qui compte hein :wink: )
  • en cas de panne, disk changé dans la semaine max (juste pour dire que pas besoin que ce soit dans l’heure)
  • le uptime n’est pas tres important car c’est du backup, donc si on a un downtime de 24h, pas de soucis.

Alors voila, on a principalement 2 questions:

  • chez ffdn, c’est qui qui pourrait faire cela? On est proche lyon - est-ce que la geographie a une importance? est-ce que tout le monde a du virtual kvm? On vient de hetzner pour vous donner un ordre d’idee de notre confort du moment :wink: (on imagine bien qu’il va falloir le diminuer, c’est le jeu!)
  • c’est ou qu’on achète du HW d’occase? C’est quoi les bons plans?

Merci BEAUCOUP pour votre aide :slight_smile:

#2

si je puis me permettre …
Pourquoi vous jouez quasi tous le jeu de Dell, HP, etc … qui sont cul et chemise lié avec Microsoft Google etc ?
J’ai regardé un peu les spec Hertzner (des core i7 …cela ne vous met pas la puce à l’oreille ?) , ovh (fut une époque) … ils ne prennent pas des machines toutes faites. Ils composent leur recette.
Tu veux un truc qui marche bien ?
(c’est mon prochain achat , plutot état esprit d’achat… enfin quan on aura grandit !)

  • Ryzen 3 3200G ou 5 3400G,
  • Gigabyte B450 AORUS M,
  • 64 Go DDR4,
  • m2 x2 pour promox,
  • NIC intel 4 ports ou 2,
  • alim basse conso , haut rendement,
  • ventillo 120 mm,
  • rack acier 2U (important pour loger un pléiade de disque sur silentbloc SEDNA: tip top)

on peut monter à 64 Go par nœuds, tu as 6 SATAIII, les slots d’extension pour ajouter 2 ou 4 ports RJ45 (giga ou 10g) : les dual nic intel se trouve à moins de 18 € sur ebay, il faut prendre du vpro (tu peux prendre la main en bas niveau sur le hardware).
En gros il faut juste prendre le temps d’assembler : mais franchement , économiquement c’et intéressant.
Ce qui coute c’est le boulot d’intégration et validation des plateformes.

Avec juste un rack en acier (25 €) , 4 pièces faites en impression 3D (je peux fournir les plans), du double face (ben oui ca tient même par 45 ° cet été), une alim basse conso de recup, les ventilo aussi … tu as ça (sur la photo j’ai tout posé en vrac les hdd, ils sont tous bien fixés avec les silenbloc en bas de l’image … je t’ai fait une photo d’un de mes spare. J’en ai 8 en prod.)):


Il faut prendre des lots , moi j’ai eu un lot de core i5 3470 , avec CM micro ATX 16 Go max (juste 4 slot SATA, 2 pour l’os promox en raid 1 sur 2 ssd et 2 pour des HDD 2To baracuda) … et pour du ceph ben cela semble pas mal (mais je redit, on n’a pas eu de montée en charge à 1000~2000 personnes sur l’infra ilinux, le réseau VDSL ne suiverai pas de toute manière … :wink: … j’héberge juste 65 personnes …)

Personnellement je voulais monter exactement ça :

J’ai pas eu le temps, ni le bon contact (le gars n’a pas répondu !) mais je voulais le meme concept …
J’ai jamais réussi à savoir ce que le gars avait monté comme os et recette logiciel … surement son business !

1 Like
#3

Assos FFDN qui proposent de l’hébergement physique

Alors il y a des assos comme Tetaneutral ou Aquilenet qui proposent des datacenter artisanaux où tu peux héberge tout type de machine (même des formats type tour…). Sinon il y a FAI maison et ARN qui proposent des emplacements dans leurs baies cogent. Je ne sais pas pour les autres. Le DC de TTN à myris a tendance à avoir des coupures électriques régulières ces derniers temps (2 par an).

Il me semble que Neutrinet et Rhizome sont en train de concevoir des solutions du même type. Rhizome sous forme d’une baie hébergée dans une salle de l’UTC, et Neutrinet une baie dans un DC belge.

Pour Lyon, illyse ne propose pas d’hébergement et ils ne veulent pas en faire. Mais il y a peut être une autre asso qui s’en charge ? Faut demander à l’asso Grenode qui regroupe rezine gresille et d’autres.

Tarifs

ARN: 1 emplacement 1 U = 50€/mois et 1 format NUC 20€/mois, jusqu’ici on ne fait pas payer le trafic (mais on se réserve la possibilité de revoir ça si par exemple il s’agit d’un nœud Tor ou un trucs du genre…).
Aquilenet: entre 5 et10€ /mois pour un rpi/nuc ou laptop , entre 15 et 20€/mois pour un PC avec une conso moyenne de 30W
Fai maison pratique le prix libre comme Tetaneutral.

KVM

est-ce que tout le monde a du virtual kvm?

Je pense que la plupart n’ont pas ça. Chez ARN on a des prises programmables pour reboot électriquement.
Sinon au niveau matos tu peux prendre une machine avec une BMC.

Du coup, le lieu à son importance car en cas de pépin, il faut aller sur place…

Remplacement des disques

Jusqu’ici, chez ARN on propose d’héberger les machines mais a priori on ne fait aucune opération dessus (bon en vrai si on va au DC et qu’il y a un petit trucs facile à faire, on le fera hein…). Nous ne provisionnons pas de disques de remplacement à la place des membres.

Je ne sais pas exactement comment c’est organisé chez les autres à ce sujet.

Hardware d’occasion

Je ne sais pas. Ces derniers temps on a pas eu l’occasion de se poser la question de l’achat de machine.
On a des vieux 1U dispo mais seulement avec 2 emplacements disques, et pour le réseau c’est sûrement que du 1G.

Mais comme dit ledufakademy composer sa machine peut être une idée (c’est ce qu’a fait Picasoft dans un format tour à Myris (Tetaneutral).

Question

Je vais pas aller dans le sens d’ARN, mais, est-ce que tu as envisagé tout simplement de prendre une fibre 1G et d’auto-héberger tes machines ? L’avantage c’est que si c’est plus proche tu peux intervenir facilement.
Je dis ça vu que le downtime de 24h ne semble pas un problème.

1 Like
#4

Et donc si c’était pas clair il me semble qu’aucune des assos ne propose des machines physiques à louer.

#5

C’est surtout juste une histoire de tuyau !
La matos on peut monter des trucs costaud avec les bons concepts … le tuyau : toujours lui … rahhhh.

#6

Au boulot on vient de ventiler 15 serveurs Proliant DL360 Gen 10 …
c’est 15000 € pièce :

un dual Intel-Xeon-Gold-5118 c’est 2000$ le cpu …
ca sort un score de 22 800.

un ryzen 5 pro 3400 G … c’est 171€ …
ca sort avec un cpupassmark de 10 075 !!!

la consommation ??? le double ! on passe de 65W(ryzen) à 105 W(xeon) !

https://www.cpubenchmark.net/compare/AMD-Ryzen-5-PRO-3400G-vs-[Dual-CPU]-Intel-Xeon-Gold-5118/3569vs3148.2

Le chipset ?
C621 …

vs le B450 AMD …

ici :

et la …

sinon cela rapproche un peu aussi : le mot clef c’est
“mini itx server shell”
style ça … http://www.buildablade.com/bb-itx96.htm, mais c’est cher.

#7

Bonjour @pierre

Le HW d’occase est super abordable si on tape dans des générations un peu anciennes sans être toutefois obsolètes.
La contrepartie se trouve au niveau efficacité énergétique, c’est à dire la puissance dispo par W consommés.
Pour le stockage il n’y a pas de miracle, un HDD de 3.5" consomme environ 8W, qu’il soit de 1To ou 14To… donc en W/To il faut prendre de gros disques, mais plus coûteux bien sûr.

Pour mon auto-datacenter (situé dans la cave sous mon bureau), j’ai fait le pari de me baser sur de l’occasion ou du matériel de récup, l’économie que cela représente compense en partie la facture Enercoop (ce que j’ai trouvé de plus “vert” comme électricité).
La prochaine étape vise à récupérer la chaleur dégagée pour produire mon eau chaude (non pas de water cooling, mais un chauffe eau thermodynamique). En attendant, mon bureau n’a pas besoin de chauffage l’hiver.

Exemple de matériel:

  • serveur Dell R510, bi-xeon, 64Go de RAM, 1 SDD 100Go + 1 emplacement 2.5" dispo et 12 emplacements 3.5" dispo… entre 250 et 300 Euros, il n’y a plus qu’à rajouter des disques (SATA ou SAS) eux aussi d’occasion (environ 15-20€/To)
  • serveur de stockage avec 24x3To… moins de 700€ (un coup unique, mais ça arrive)

Le reste de mon matériel:

  • onduleur de récup (dans la rue), batteries et ventilos changés pour du neuf
  • switch réseau d’occasion (double alim)
  • pas de clim (validé avec la vague de chaleur à 43° extérieur cet été sur Paris)

Réseau:

  • downlink: 2 fibres 1Gbps (OVH + Bouygues)… en attendant la couverture par free eb 10Gbps
  • local: ethernet (bonding pour la redondance) + infiniband 40Gbps (là aussi full occasion, coût de 60€/port 40Gbps, bien moins cher que de l’ethernet 10Gbps)

J’explique un peu tout ça ici: https://www.computel.fr/ et Computel.fr : un revival sous forme de chaton!

1 Like
#8

Super, merci BEAUCOUP pour toute vos réponses!

@cquest je viens de lire en diagonale ton blog, tu les as achetés où les serveurs?

Merci pour votre aide à tous!

:heart:

#9

L’essentiel sur eBay, en France et uk (livre très basse)

En rapport qualité prix incroyable tu trouvera des C6100… petit cluster de 4 serveurs bi xeon en 2U et 12 caddies 3.5
Trop dense pour fonctionner sans clim mais ça me tente :wink:

1 Like
#10

je viens de jeter un oeil (outre la place de ces trucs, la consommation … on a pas la même vision :wink: , j’ai deux questions :

  1. tu as 12 slot pour des disques , ca c’est cool , (pour les datas des users on met du neuf) : comment tu trouves les disques neufs ? à quels prix ?
  2. Pour la RAM c’est quoi les tarifs pour du ECC buffered (j’imagines qu’il faut des stick tamponné DEll) ?

Arghh : Tu sais pour ton serveur 72To … à 60Euros, l’est tombé du camion ? (car des disques neufs en sas ou sata … des 3To c’est un truc de dingue !!)

#11

J’achète peu de disques neufs, mais là aussi de l’occasion.
Du SAS qui n’a pas bougé d’un datacenter climatisé, ça tient longtemps (un seul disque tombé en panne sur ces 3 dernières années). Par contre je surveille leur température…

Comme j’ai de la redondance partout, un disque qui meurt se remplace, se resilver et on n’en parle plus.
Prix ? J’ai vu passer des 6To pour 80 euros la semaine dernière et des 10To pour 160… il faut compter entre 15 et 20€/To en SAS d’occasion (qui se vende souvent moins cher que du SATA).

Pour la RAM, pas besoin de RAM Dell (comme les disques d’ailleurs, ce temps là est finit). Pour 64Go en 4 x 16Go, ça tourne à 150€ en ECC bien sûr.

Pour le serveur à 72To, tu as oublié un chiffre :wink: C’est 690€ très exactement, livré (depuis la France)
Je lui ai rajouté un petit SSD pour le cache de ZFS, une carte infiniband (à la place du Fiber Channel)… et voilà

#12

c’est clair que c’est intéressant. surtout si pour tes appro. tu peux avoir des tarifs aussi bas au To.
par contre j’aimerai bien avoir l’astuce pour mettre du disque non dell dans … un serveur dell.
j’ai un vieux t410 qu’on va bazarder … impossible de mettre du hdd sata autre que dell … la carte perc veux pas reconnaître autre chose que du dell.

#13

Change la carte Perc, passe sur une H310, le RAID est désactivable (cool pour ZFS) et ça vaut 25 euros
J’ai des H700 à donner (RAID non désactivable) si ça rentre dans le 410.

#14

Pour ceux qui ont le mythe du xeon , “processeur puissant” en tête … extrait de discussion :

Je ne veux pas revenir sur le fond, mais ça a l’air d’être une solution adaptée uniquement à ce type de besoin (via le fait que les perf SIMD équivalent que sur Xeon). Et même pour du HPC je n’ai jamais vu un client nous dire qu’ils préféraient des i5 plutôt que des Xeon. Donc on est vraiment sur un besoin de niche.

Il y a deux choses: peu de serveurs proposent du i5/i7 classique, pas de xeon = pas d’ecc.
Un Xeon c’est un i5/i7 avec un gros cache L2/L3, ca sert pour le SIMD (même si nos tests n’ont pas démontré d’impact flagrant).
99.99% des serveurs en production en datacenter font tourner des serveurs web, des bases de données pré-compilées qui n’exploitent même pas 2% des instructions SIMD.
Donc le seul point c’est l’ECC, je reponds aprés.

« Un xeon consomme beaucoup d’energie, bien plus que 4 nucs. » C’est sûrement vrai. Par contre 4 alim avec 4x la perte lié à son rendement. Un xeon en 4u aura double alim pour redondance. Après si pour le besoin très spécifique ici, avoir de la redondance n’est pas important, ni le management (IPMI etc), ni la fiabilité (ECC etc) du fait que c’est ici du grand public et non du serveur, ça justifie la solution. Et la différence de prix. Et je parle pas du support, SLA, etc avec du matos pro (souvent ça explique le prix).

Je mets une alim pour 12 NUCs. Donc nettement plus efficace énergétiquement que n’importe quel serveur xeon.
L’IPMI complet, je l’ai via le vPro NUC.

L’ECC, c’est une longue histoire. En 10 ans d’activité sur ces infra non-ECC, +600 machines, nous avons cramé (block défectueux) environ une vingtaine de barette en production. Les machines sont passées sur memtest 4 cycles avant le passage en production. Au moindre doute, c’est à dire un software C qui segfault avec erreur intracable ou suréaliste, nous lancons un memtester dans le userland (donc sans reboot). C’est trés rare.

Donc le surcout Xeon pour avoir de l’ECC, c’est surfait. Surtout quand on conçoit une plateforme qui décorréle sa fiabilité de la fiabilité du hardware, ce qui devrait toujours être le cas, ce que tout bon développeur ou architecte systeme prend en compte en permanence.

Par contre pour la virtu:
– La densité, sur un Xeon 4U avec du KVM c’est plutôt 120 VM minimum. Je parle d’une moyenne pour de l’usage classique (ntier appli J2EE + bdd), pas pour du HPC. Sinon pour une alim 750W (ex dell R630, ou R730) on est plutôt autour des 1Kva.

120 VMs. Ce sont des VMs type Atom 600Mhz alors… et si elles chargent toutes, ca tombe à 100Mhz…
J2EE est inefficace. Le java n’est pas fait pour la performance.
Une appli Tomcat monte en mémoire, prend immédiatement minimum 2-3Go de ram. Je serais curieux de voir 120 VMs lancer un Tomcat. Vous avez 400 Go de ram dans votre gros dell R730 ?

– Une infrastructure virtualisee ralentit les I/O disque et la latence reseau. Il y a toujours un overhead avec la virtu. Et le fait qu’on multiplie les machines sur un même controleur interne. Mais il y a des pistes pour améliorer ça, surement en faiseant exploser le budget.

Oui c’est du FusionIO ou du SAN en fiber-channel + ssd.
Je vous laisse voir les prix :wink:

– « Le ‘SPoF’. Si votre hardware craque, votre gestion de vm craque, vous perdez x VMs. » pas toujours vrai. Avec du stockage reparti ou centralisé (nfs par ex), la VM redemarre direct sur un autre hyperviseur. Donc certes ya downtime, mais très faible. ça fait parti des avantages qui font que justement la virtu est à la mode (en plus de la surmutualisation des ressources)

Si vous faites du basculement live, vous devez avoir en permanence un serveur de spare pour chaque serveur de production. Ca double le cout de l’infrastructure.

– « Le downtime. Pour intervenir sur le hardware, vous devez arreter x VMs. » Alors là, c’est étonnant de lire ça en 2018 :stuck_out_tongue: Et la migration ?? Avec la virtu, c’est 0 downtime de maintenance justement. C’est sa force.

Vous avez la version de la communication des vendeurs de plateforme virtualisée.
Sur des bases de données à gros volume et/ou haute fréquence, le basculement de VMs vers un serveur de spare est loin d’être transparent :wink: C’est du vécu.

Mon point de vue est assez agnostique, en tout cas j’essaie :wink: Ce sont des sujets assez interessants et donc pleins de passion.
La virtualisation repond à un besoin indéniable: software simple, faible besoin en performance, en IO, gros budget, faible maitrise bas-niveau et donc besoin d’administration systeme simple facile à recruter. Ca repond à des besoins de DSI qui veulent se rendre la vie supportable sans se casser la tête, il suffit de faire passer des grosses lignes de budgets en amortissement.
Si vous devez héberger une appli interne (Java?) avec des accés maitrisés, une latence dont on se fiche, la question ne se pose presque pas, la virtualisation est probablement le meilleur choix.

J’espère juste apporter à ma petite échelle une regard différent sur ce qui peut être monté en infrastructure technique.

1 Like