[important] Mise en oeuvre d'un groupe de travail pour réaliser stats.chatons.org

Groupes de travail stats.chatons.org
8

Bonne question !

Actuellement il y as quelques stats (nombre d’adhérents et de connexion Internet) visible via les pages de chaque FAI.

Les données sont aussi consultables via un bot IRC UneFede qui permet d’avoir des infos agrégés tel que nombre d’adhérents/abonnées global à la fédération, % d’abonnés/adhérents et les infos sur les structures.

L’usage principal est politique (chiffrer le poids de la FFDN qui représente le pendant politique des FAI associatif fédéré) mais aussi informatif pour les structures entres elle (savoir si les copains vont biens).

Pour l’intérêt qu’on à a travailler avec la base de code de la FFDN, plusieurs membres sont aussi des Chatons (donc ils utilisent déjà ce système, je pense qu’il est même possible de demander quelques infos à la fédération pour avoir une idée de l’usage).
Autre intérêt ne pas réinventer la roue, au pire on fork pour remplacer le modèle de données et le json par du yaml, tout en gardant une code de base synchro avec le projet actuel pour minimiser la maintenance/évolution du code de notre côté et la mutualiser sur le code commun. A discuter (c’est ce qui me semble le plus optimum en matière d’énergie bénévoles et de fonctionnalités souhaités).

@mathieunicolas super, tu saurai regarder la charge de travail nécessaire en developpement pour un fork (le pire des cas) je m’y collerai bien mais je ne suis pas développeur.

9

avec plaisir, j’ai juste besoin d’un peu de contextualisation : tu parles de forker quel projet ? les données sont déjà existantes quelque part, et l’idée serait de les récupérer en passant, c’est ça ?
Je suis les chatons de loin (avec très vif intérêt néanmoins) et du coup je ne suis pas forcément au top concernant les infos de ce genre !

edit : au temps pour moi, j’ai cliqué sur le lien vers la https://db.ffdn.org/ et j’ai compris de quoi tu parlais !
a priori tant qu’on a un JSON qui contient les infos qui vont bien, on peut en faire absolument ce qu’on veut. La version la plus simple, statique, serait de faire une page qui récupère le JSON et qui en affiche les informations qu’il contient. Concernant le stockage du JSON et sa mise à jour, ça peut être un bête fichier posé dans un github/lab qu’on modifierait manuellement au fil de l’arrivée des informations.
avantages : plus rapide à l’affichage car une seule requête
inconvénient : centralisé, manuel, flow un peu poussif

Une autre solution, statique aussi, serait de demander à chaque chatons de mettre à disposition un fichier JSON qu’il modifierait lui-même quand nécessaire à un emplacement précis, pareil pour tous, pour pour les collecter en temps réel. Il suffirait alors, côté stats.chatons.org, d’avoir la liste des chatons, et de récupérer les infos en direct à chaque affichage de la page.
avantages : décentralisé, les mises à jour appartiennent aux chatons et elles sont en temps réel
inconvénients : s’il y a 300 chatons, chaque affichage de la page impliquera 300 requêtes, ce qui peut rapidement ralentir la vitesse du système ; le formatage correct des JSON des chatons dépendra d’eux et en cas de pépin sur le JSON d’un chatons ses informations ne seraient pas affichées.

Il y aurait une solution intermédiaire qui consisterait à générer un JSON centralisé une fois par jour en effectuant les 300 requêtes, et en produisant donc une unique source qui alimentera la page stats.chatons.org dont l’affichage sera optimal.

Il y a probablement d’autres solution auxquelles je n’aurais pas pensé !

edit2 : on peut aussi mettre en place une API à travers laquelle chaque chatons sera libre de mettre à jour les informations concernant sa plateforme, l’API de la ffdn permet l’affichage des données, on peut aussi envisager de permettre la modification/création des données

10

La db de la FFDN (lien dans mon premier message), le code est ici code.ffdn.org/ffdn/ffdn-db

L’idée est de voir si il est possible de se baser dessus pour un usage similaire pour le Collectif Chatons.
Il n’y a pas encore de données dispo sur les sites des Chatons (a ce que je sais) mais on peut assez facilement en mettre en place. (je peut le faire très facilement sur le site en cours de dev de mon Chaton)

11

Merci pour ta réponse ! entre temps j’ai édité mon message.
Une autre solution serait effectivement de forker simplement le code de la ffdn et de le mettre en place sur les chatons !

12

C’est à peu prêt comme ça que fonctionne le système de la FFDN.
Je suis utilisateur//co-fondateur de Touraine Data Network qui à son json ici https://www.tdn-fai.net/isp.json.
Il y as un validateur qui permet de valider une première fois le fichier et lancer le premier pull des info par le serveur central.
Ensuite c’est fait de façon cyclique toutes les 24h environs, avec je me doute (j’espère ? ^^) un décalage pour par faire les x requêtes au même moment)
Si jamais le pull rate trop (plus de x fois ?) un mail est envoyé à l’adresse d’admin du FAI avec une demande de revalider le json via le validateur pour relancer les pull réguliers.

Je les ai ping sur le salon IRC #ffdn (serveur Geeknode).

13

Alors, si je suis les échanges sur ce post, il semblerait que vous soyez plusieurs à souhaiter participer à ce groupe de travail. Afin de pouvoir en discuter lors d’une première réunion en septembre, je vous invite à compléter ce framadate : https://framadate.org/DrzmYYGojfIDwrSw

cc @Bschalck @mrflos @tgy @mathieunicolas @julienth37

2 « J'aime »
14

J’ai répondu !

2 « J'aime »
15

Au regard des réponses inscrites dans le Framadate, la première réunion du groupe de travail stats.chatons.org aura lieu le jeudi 10 septembre à 20h.

J’ai créé un pad où je vous invite à compléter l’ordre du jour et/ou commencer la réflexion :
https://mypads.framapad.org/p/gt-stats-chatons-org-8h6ly7dn

1 « J'aime »
16

La première réunion du groupe de travail a eu lieu jeudi dernier. Nous étions 3 : @Cpm, @mrflos et moi-même.

@Cpm nous a montré son outil/protocole StatoolInfos qu’il est en train de mettre au point pour Chapril. Nous avons décidé d’adapter ce modèle pour y faire apparaître les champs qui nous semblent importants et nous proposerons ensuite au collectif d’utiliser ce système pour mettre en commun des informations sur leur structure (dont un certain nombre de données statistiques). Cet outil peut tout à fait être utilisable pour d’autres activités d’un chaton et il est possible d’automatiser la récupération des données.

stats.chatons.org sera un site web complet présentant toutes les données récoltées mais il sera aussi possible d’afficher certaines données (dans un but de valorisation de l’activité des structures du collectif) sur chatons.org et entraide.chatons.org

La première étape de ce travail est donc de penser les champs qui vont composer les différentes sections à compléter par les structures qui le souhaitent. Pour cela, nous avons publié la liste des champs dans un projet sur le groupe Git du collectif. Et nous avons prévu 2 temps pour étayer, modifier, améliorer cette liste :

  • jeudi 17 septembre de 11h à 12h
  • jeudi 24 septembre de 11h à 12h

Vous êtes bien sûr les bienvenu⋅es sur ces temps de travail. Et si vous n’êtes pas disponibles, vous pouvez toujours consulter la liste actuelle des champs et nous transmettre ce que vous aimeriez y voir apparaître ou toutes autres réflexions sur sa composition.

2 « J'aime »
17

Bonjour,

Ca semble très intéressant, mais je ne vois pas trop le résultat attendu.
Cet outils est un genre de référentiels des infos de chaque CHATONS si je comprends bien ?

18

Ta compréhension est plutôt bonne oui. En favorisant un partage d’information « normalisé » sur les chatons et leurs services, les résultats attendus sont :

  1. une meilleure visibilité des chatons et des services ;
  2. une mesure de l’activité des services (même une mesure incomplète ou partielle est intéressante pour donner une idée de l’activité globale, car actuellement, on a rien).

L’idée est de faire ça de façon simple et légère : 1 fichier par chaton, 1 fichier par service. Dont la maintenance sera facile pour les chatons volontaires. Ces fichiers seront collectés régulièrement et serviront à générer des pages web statiques de valorisation.
Cette approche n’exclut pas d’autres solutions/approches qui seraient possibles. Là, on expérimente une voie qui a tout sa pertinence par rapport à nos contraintes et disponibilités :slight_smile:

1 « J'aime »
19
20
21
22
23
24

Salut qu’est-ce qui a motivé votre choix de ne pas capitaliser sur le travail qui a été fait par les étudiants ? https://framagit.org/bertille/tx-collecte-chatons

Leur approche ouvrait tout un champs des possibles avec la possibilité de porter leur schéma sur du json-ld.

Je comprends l’intérêt du fichier properties pour les metrics mais pour le reste je trouvais leur solution plutôt sexy. D’ailleurs je me pose des questions sur l’intérêt de balancer des metrics comme ça, en tout cas chez IndieHosters je ne vois pas trop comment on va pouvoir participer, on ne va pas s’amuser à balancer publiquement les stats d’utilisations de nos contributeurs, on veut bien être transparent mais quand même :slight_smile:

(bon je te dis ca, j’étais pas là donc bon…)

25

J’ai pas suivi non plus, mais au final, s’agit-il de proposer une api standardisée? Auquel cas, un truc comme https://swagger.io/ pourrait faciliter la validation du modèle?

26

Ce qui a motivé le choix, c’est tout simplement que @cpm a proposé cette solution et que personne d’autre n’a proposé de revenir sur le travail des étudiants. @mrflos et moi-même (les seul⋅es autres personnes présent⋅es à cette réunion) avons trouvé que cette solution tenait la route et qu’elle était vraiment simple à mettre en œuvre. Car même des personnes sans compétences techniques pourront facilement compléter ces fichiers properties.

3 « J'aime »
27

Alors quand on parle de modèle, c’est effectivement un bon réflexe que de penser à des outils d’écriture, de validation, schéma… Mais bon, dans notre cas, il y a seulement une vingtaine de champs descriptifs très simples. Donc ça ne vaut pas vraiment le coup de s’alourdir avec des procédures contraignantes. Dans un premier temps, démarche de faire simple, le plus simple possible :slight_smile:
Exemple avec le fichier décrivant un membre (version non finalisée) : https://framagit.org/chatons/chatonsinfos/-/blob/master/MODELES/membre.properties

1 « J'aime »