La raison du 10GB reseau, est, si un disk de 10T pete, il faut plus de 24h pour sync sur un lien 1GB. En 10GB, un peu plus d’une heure.
(C’est de tete les chiffres, j’avais fait le calcul, mais la ca me semble eroné, a prendre avec des pincettes 
)
1 « J'aime »
en effet je comprends mieux.
Pour info en terme de perf. sur des cartes micro-atx basse conso., core i5 , 16 go ddr3, carte 1gb x 3, … HDD baracuda 2To (6 OSD en tout ), voila ce que donne un changement de disque :
ceph -w
cluster:
id: 2f4f517-238f-4336-b9d3-b9d12b2edfaf
health: HEALTH_WARN
520/203730 objects misplaced (0.255%)
Degraded data redundancy: 25368/203730 objects degraded (12.452%), 49 pgs degraded, 49 pgs undersized
services:
mon: 3 daemons, quorum NonettE,YssoN,VicheL
mgr: VicheL(active), standbys: NonettE, YssoN
osd: 6 osds: 6 up, 6 in; 50 remapped pgs
data:
pools: 1 pools, 128 pgs
objects: 67.91k objects, 257GiB
usage: 679GiB used, 10.3TiB / 10.9TiB avail
pgs: 25368/203730 objects degraded (12.452%)
520/203730 objects misplaced (0.255%)
78 active+clean
33 active+undersized+degraded+remapped+backfill_wait
16 active+undersized+degraded+remapped+backfilling
1 active+remapped+backfill_wait
io:
client: 79.2KiB/s wr, 0op/s rd, 6op/s wr
recovery: 63.8MiB/s, 16objects/s
Sinon le temps de migration d’un CT (LXC), d’un noeuds à un autre, avec CEPH est de l’ordre de 2 à 8 secondes sur une LXC avec deux instances nextcloud, l’une chargée à 260Go de données l’autre rien (3 Go)
je viens de migrer deux disques (osd) l’un s’est fait en 4 mn (!) l’autre en 4H (lien 1Gb), disque de 2To 7400 tr/mn sata… .
Les 2 OSDs etaient pleins?
non le pool est chargé à 7% … donc nada.
Il me semble que chez Tetaneutral ils ont eu aussi des difficultés avec Ceph. Mais je n’en sais pas plus. Nous on est sous drbd/ganeti (pour raison historique), aujourd’hui si je devais faire de zéro je prendrais effectivement proxmox et zfs (même si j’ai jamais tenté zfs, mais il y a une bonne réputation).
En tout cas c’est intéressant ce post sur ceph.
je serai au capitole, j’irai en discuter avec eux.
Je trouve ceph , sympa. Pour l’instant , sans grosse montée en charge (!), ca va bien, c’est meme très souple pour manipuler les disques étendre etc.
Le souci c’est que quand on part sur un FS ou un Distributed FS … ce n’est pas simple de changer en cours de route !
euh , pas vraiment : ZFS est RAM-MIVORE !!!
Beaucoup s’accordent pour dire qu’il lui faut 16GB (à minima) … j’imagine avec mes hyperviseurs proxmox qui ont 16Gb de RAM … 
Après si comme à mon taf vous avez des bestioles à 15 000€ avec 24 slots de RAM, et 64 GB buffered ECC pour commencer, no soucy.
Moi c’est juste impossible.
https://www.freenas.org/hardware-requirements/
Small FreeNAS for a Few Users : 8GB
Home Media Server or Small Office File Share : 16GB
Business-Class Systems : 32 GB (en ECC …)
Pour info OVH est passé sur CEPH …
… « avaient des difficultés ».
Grosse nuance, car ils ont essuyé les plâtres des premières release.
ceph se fout du nombre de disque dur qui plante , ca çà appartient au vieux truc en raid ou zfs …
JE vous invite urgement à voir la conf.EVOLIX sur ceph des Capitole du libre 2019.
C’est pas d’hier, je viens de regarder cela à midi
https://archive.fosdem.org/2018/schedule/event/backup_ceph_at_scale/
Tu as le lien? Ce serait cool 
C’est en ligne !
Les gars d’Evolix ,un bon niveau sur Ceph, nous ont proposé une conférence vraiment sympa et surtout accessible .
https://www.youtube.com/watch?v=9VzZKGFfjGw
1 « J'aime »
Si vous voulez connaître un peu les perf de votre sous-système Ceph :
https://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance