Conception d'un outil de centralisation des informations des CHATONS

Yep ça aide, je comprends mieux …

MAIS !

L’idée avec le POC TX, c’est de faire un crawler pour que chacun gère sa partie des services (décentralisation POWA)
ET àmha si on veut « pointer transiscop » il vaudra mieux le faire à terme sur entraide,
ET à terme exit chatons/drupal
ET c’est entraide qui sera le plus pertinent (parce que décentralisé… suivez un peu),
quitte à ce que que chatons/drupal aille puiser dans entraide sa Base…

Bref #mes2kopecs : Le crawler sera bien plus pertinent à terme, qu’une base de donnée centralisée et mise à jour via un formulaire (dixit Paul Mockapetris jeune stagiaire)…

Et l’objectif du crawler c’est bien de pisser du JSON si chère à ton cœur…

Elle est où ma PLS ?

1 « J'aime »

Après si tu as le JSON et si tu peux entrer dans transiscop : Go !

Fais toi plaisir, on te regarde.

Peut-être que Transiscope n’est pas vraiment le top pour faire un POC car il a déjà sa propre classification.
En revanche, on peut utiliser (simplement) gogocarto - logiciel libre qui génère la carte de Transiscope pour afficher les chatons sur la carte et avoir un rendu peut être un peu plus design que https://chatons.org/find avec une classification sur laquelle vous avez la main.

JSON/YAML → crawler → gogocarto

Ca tombe bien, gogocarto.fr est hébergé par le chaton Colibris Outils Libres! :slight_smile:
Mais en effet le sujet n’est pas encore la restitution car à l’heure actuelle ce serait plus facile et bien plus opérationnel de faire drupal (en place) > gogocarto (en place) que JSON/YAML (à définir) → crawler (à coder/tester) → gogocarto

D’ailleurs c’est aussi un peu mon avis sur ce sujet, on est en train de décentraliser pour recentraliser après avec un autre outil (mais cette fois c’est un script python, c’est quand même mieux qu’un cms avec une interface (sarcasme)), sans que l’on ai pris le temps de discuter bien comme il faut du modèle des données.

Pourtant il y a tout le travail historique de @pyg et @angie sur les champs pour un chaton, les champs pour la conformité d’un chaton, et les champs nouveaux pour les services des chatons (et pour l’instant les formats de données proposées prennent en compte cette partie là mais moins le reste, qu’il serait intéressant à avoir) sur lequel s’appuyer, et donc ya du boulot pour que le nouveau modèle soit aussi complet que l’existant…

Je plussoies aussi la remarque de @neil sur le mélange français / anglais dans les données, il faudrait trancher.

Et enfin, j’ai un peu peur du travail d’animation que cela demanderait pour inciter tous les chatons à créer leur json chez eux, car je n’ose imaginer l’énorme temps d’animation pour @lise et @angie pour que les données soient bien saisies juste a un endroit avec un formulaire tout fait…

Pour moi, il est en tout cas impératif de prendre le temps de bien structurer les données qui permettent de qualifier un chaton, sa conformité à la charte, et tous ses services proposés, avant de discuter de si on le fait en yaml ou json ou json-ld, en centralisé ou en décentralisé, etc,…

1 « J'aime »

La remontée d’informations des membres par un tel système, voilà qui parait très très intéressant \o/

On me souffle que des projets similaires existent dans le monde du Fediverse :

Vous connaissez ? Peut-être une source d’inspiration ?

Les projets semblent ne pas manquer :

Quelqu’un aurait une vision globale de où cela en est ? Un bilan pour en tirer des bonnes pratiques ? :slight_smile:

1 « J'aime »

Pour info, pour le Chapril, on expérimente nodeinfo2 et serviceinfo :slight_smile:
Une combinaison pertinente semble être RFC6415 + serviceinfo.
Si pas suffisant pour le CHATONS, une solution possible est d’envisager RFC6415 + ChatonsInfo :wink:

2 « J'aime »

Bonjour à tous.

Le fil de discussion a largement dérivé. Le travail des étudiants (que j’encadre) est borné dans le temps (il reste 1 mois à raison d’une journée par semaine environ de travail) et doit aboutir à des propositions concrètes. L’idée d’un autre fil pour des échanges plus prospectifs est donc une bonne idée.

Au stade où en est le travail, on ne changera pas pour YAML, outre la discussion de savoir si c’est mieux ou pas, ce serait un travail sans grand intérêt pour eux (la TX reste un processus pédagogique) et sans grand intérêt pour le POC ; si l’idée est bonne mais que JSON pose problème, il sera remplacé, ce sera du parsing à ajuster dans le code.

Là, et c’est l’idée d’une preuve de concept, est donc de faire marcher quelque chose avant la fin, afin de voir ce qu’on peut en dire en pratique (et non en projection théorique).

Si vous avez envie de contribuer concrètement à ce travail, vous pouvez alimenter le crawler en éditant le JSON de votre Chaton et en mettant à dispo votre URL. On pourra ainsi discuter en pratique de cette hypothèse.
Vous pouvez aussi faire des retours pour améliorer ce qui est fait au niveau code, modèle de données, documentation, etc. (merci beaucoup à ceux qui l’ont fait). Mais si vous avez envie de proposer autre chose, ce n’est pas dans le scope limité des étudiants que ça entrera. Et si vous ne souhaitez pas contribuer parce que vous n’aimez pas quelque chose dans ce projet, aucun souci, c’est la liberté de chacun.

Merci à vous,
Stéphane.

3 « J'aime »

Désolé si ça a dérivé, en tout cas une bonne raison pour eux d’apprendre ce bon vieux xkcd

https://xkcd.com/927/

Chez les librehosters, on a déjà un json, je sais que ce n’est pas le même schéma, mais peut peut-être vous pouvez vous amuser avec?

https://libreho.st/directory.json

Bon courage à eux :slight_smile:

1 « J'aime »

Salut,

@stph je te cite :

Et ensuite :

J’ai proposé (en MR sur le projet) de permettre de parser du YAML en plus, pas de tout remplacer, mais de permettre en se basant sur l’URL de parser du JSON ou du YAML.

Je ne vois pas pourquoi tu refuses cette évolution du code, la MR est vraiment petite : https://framagit.org/bertille/tx-collecte-chatons/-/merge_requests/6/diffs

C’est pas un REMPLACEMENT, c’est un AJOUT, le code se base sur l’URL que le chaton fourni, avec un fichier exemple ça me semble vraiment simple.

Cordialement,

1 « J'aime »

Bonjour,

Je ne refuse rien, je n’ai pas ce pouvoir ni cette envie, je priorise uniquement le travail des étudiants dans leur cadre pédagogique ; la suite appartiendra aux Chatons et cette MR pourra tout à fait être acceptée, ce n’est certainement pas moi qui déciderai.

Gérer deux formats, c’est gérer deux logiques de validation, d’édition, c’est poser la question de JSON-LD avec YAML, c’est des conversions pour le moteur de recherche en JS qu’ils sont en train de faire, bref, c’est plein de « petites » choses, qui vont les ralentir dans leurs investigations, alors qu’ils ont d’autres sujets à creuser et peu d’énergie restante.

C’est l’idée d’un POC telle que je la conçois, on ne cherche pas forcément la meilleure solution, on cherche à faire fonctionner quelque chose presque en vrai pour ensuite continuer de se poser des questions (comme JSON vs YAML si c’est ce qui ressort de cette expérience).

J’ai peut-être eu tord de chercher à mettre les étudiants en situation réelle dans le contexte du CHATONS, dans ce cas je m’en excuse, et comme dit précédemment, sentez vous libre de ne pas répondre. Je pensais que ce serait chouette pour eux et pour le collectif de mixer les dynamiques, mais finalement j’ai un doute je ne pense pas que je reprendrai cette initiative de la même façon en tous cas.

In fine, cela reste un travail pédagogique, c’est donc cet axe qui prime (on pourra aussi ne pas être d’accord avec ce que je trouve « pédagogique » et ce que d’autres trouveront plus « pédagogique », mais disons que là c’est mon job et que je n’ai pas prévu d’en parler sur cette liste).

Voilà, encore désolé des déceptions suscitées au sein du collectif et chez les étudiants, je ferai différemment à l’avenir.

Bonne continuation à tous,

Stéphane.

3 « J'aime »

Hello,
L’initiative est plus que bienvenue, mais peut être aurait il fallu des moments de discussion en direct pour avancer ensemble sur le modèle de données car la discussion par forum me semble compliqué pour établir un modèle…

Le fait que des issues et merge request soient générées me semble plutôt formateur, non?
En tout ca je trouve cela chouette que des étudiants viennent pour proposer des choses, après on peut aussi ne pas etre d’accord sans que cela entraine des grosses remises en cause…

Afin de permettre a cette Px d’aboutir, quels seraient les petits pas nécessaires ?
Je veux bien jouer le jeu pour Colibris outils libres et publier un json, mais mes remarques (et celles d’autres chatons) sur par exemple trancher entre un vocabulaire francais/anglais et prendre plus d’infos sur le modèle organisation/hébergeur peuvent elles encore etre prises en compte? Comment faire la spécification? Prévoir un temps de réunion?

1 « J'aime »

Merci de cette proposition, l’idée des petits pas est jolie.
Je fais un point avec eux, mais a priori :

  • normaliser le voc entre fr/en est bien à faire (je laisse Bertille préciser, mais je vois que les clés sont en anglais et les valeurs en français, n’est ce pas ? ça pour moi ce n’est pas un pb en soi). Et donc comme c’est en français pour le moment, on peut s’en tenir là à ce stade et éventuellement traduire plus tard)
  • retravailler le modèle était dans leur planning ; il est en effet difficile de faire un travail approfondi avec tous, mais je pense qu’un échange direct avec certains est une très bonne idée.
    À suivre.
2 « J'aime »

Salut @mrflos !

Effectivement, le modèle gagnerait à être amélioré mais ça dépasse un peu le cadre de notre travail puisqu’il existait déjà avant, sur le site chatons.org, et continuera d’exister que notre PoC marche ou pas ^^ Cela étant dit, comme l’intégration fonctionnelle et technique de cet outil au reste de l’écosystème CHATONS ne se fera pas tout de suite (et peut-être jamais), c’est vrai qu’on peut en profiter pour essayer d’être un peu plus rigoureux·es dans le modèle qu’on utilise. Et oui, s’appuyer sur les modèles organisation et hébergeur de schema.org (si c’est bien à ça que tu fais référence), comme fait LibreHosters, est une bonne piste pour faire ce travail. En tout cas, on va essayer d’intégrer les suggestions, sur le versionnage par exemple, ou l’élargissement des services possibles.

Ça nous amène à la question de la langue, et là c’est un peu délicat. Si on veut un jour faire du JSON-LD, il faut que les clefs soient en anglais, c’est comme ça dans schema.org et c’est standard. Mais si on veut que le tout s’intègre facilement au Drupal du CHATONS, il faut que les valeurs soient en français, comme celles actuellement définies… C’est pas très beau, mais on voit pas trop d’autre solution à l’heure actuelle :confused:

Si tu es toujours partant pour publier un JSON pour Colibris, on peut prendre contact en MP pour éviter de spammer ici :slight_smile:

2 « J'aime »

Pour moi, il y a pour les chatons 2 options :

  • soit pas trop d’énergie à changer le système drupal de saisie et on accepte collectivement de se baser là dessus pour un certain temps.
  • soit on passe a autre chose, mais autant que ce soit normé et dans les règles de l’art (et coller aux rfc et base schema.org )
    J’imagine que vous n’aurez pas le temps d’attendre que le collectif décide, on a une réunion mensuelle, plus le temps d’un éventuel vote, avec l’été qui arrive… … mais peut être pouvez vous faire deux scénarii : celui actuel qui colle au choix 1 qui est presque finalisé, et un scenario 2 avec un modèle de json plus évolué, en anglais, etc,… (meme juste un mémorandum avec les normes existantes sur lesquelles s’appuyer, genre synthese de la discussion du forum serait un vrai plus)
    Comme je n’ai aucune idée du temps que vous avez, n’hésitez pas a considérer cela comme une demande irréaliste en vue de vos contraintes, hein!

Ok, files moi en MP le lien d’exemple de json le plus a jour par rapport a votre travail (si c’est celui du dépot git c’est ok), je ferai l’adaptation et te dirait en MP quand c’est publié

3 « J'aime »

Bonjour à toutes et à tous !

L’été approche, et avec lui la fin de partie pour les projets universitaires. Avec @Adrien_L, nous avons continué d’avancer ce dernier mois et nous reviendrons bientôt pour vous présenter les évolutions de notre projet. Cela dit, nous voulions vous inviter sans attendre à notre soutenance. Contexte sanitaire oblige, elle aura lieu en ligne et vous pourrez donc y assister ! Ce sera l’occasion de vous remercier encore pour l’aide apportée et de discuter de ce qui marche ou pas, la valeur qu’a cette preuve de concept, dans quelles directions on pourrait creuser pour que ce soit un outil vraiment intéressant…

Ça se passe le jeudi 18 juin à 18h30 sur une classe virtuelle de l’UTC

À bientôt :rocket:

7 « J'aime »

Bonjour à tou⋅te⋅s !

Ça y est, le projet se termine, merci encore à vous pour le soutien, les remarques, les critiques, les digressions… :wink:

Si tout est à peu près à jour sur notre site de Tx, voilà un résumé de l’état actuel (et donc sans doute définitif) du projet :

Le connu

Le json

Le schéma json dans sa dernière version permet déjà de décrire correctement ce que sont les membres du CHATONS, suffisamment pour pouvoir présenter la POC d’un outil de recherche que vous connaissez déjà.

Le crawler

Le crawler est un outil qui permet d’agglomérer les différents jsons décrivant les Chatons en un seul fichier json qui est celui interrogé par l’outil de recherche.

Les nouveautés

Voilà les avancées faites depuis la dernière fois :

Le formulaire

Plutôt que d’éditer le json décrivant un Chaton à la main, grâce à un outil appelé json-forms, il est maintenant possible d’utiliser un formulaire qui se construit dynamiquement grâce au schéma et qui permet d’exporter un json valide.

L’export au format entraide

Dans la mesure où le schéma créé est suffisamment expressif, il est possible de l’utiliser pour connaître les informations qui servent à alimenter https://entraide.chatons.org/. Pour ce faire, nous avons créé un convertisseur qui utilise un système de dictionnaire pour sortir un fichier json compatible avec le système utilisé par entraide, faisant de ce travail de description d’une pierre deux coups.

Ce qu’il resterait à faire

  • Rendre le schéma encore plus exhaustif (pas nécessairement pour la recherche, mais pour le collectif)
  • LD-ifier le schéma, le sujet est légèrement abordé ici
  • Faire de l’outil de recherche quelque chose de plus convivial
  • Faire du crawler et du converter des scripts propres
  • Passer la main sur ce projet aux intéressé⋅e⋅s :wink:

Merci encore pour vos retours sur cette aventure, et à la prochaine !

5 « J'aime »

Bonjour,

Merci pour ce projet qui a largement « débroussaillé » le sujet,

Je pense qu’il faut qu’on se l’approprie rapidement et qu’on le fasse évoluer.

#çavaforkéChérie

1 « J'aime »

Bonsoir à vous,

Un dernier message avant notre soutenance : pour celleux qui voudraient y assister et qui ont des questions ou des points sur lesquels discuter, on a un pad sur lequel vous pouvez faire tout ça et qui nous servira de base pour notre exposé.

Bonne soirée !

Je me permets de rappeler (un peu tardivement certes) qu’à 18h30, Bertille et Adrien seront en ligne pour la soutenance de leur projet. Ca se passe sur https://webconf.utc.fr/b/ste-r7g-7mk

1 « J'aime »

Pour celleux d’entre vous qui n’ont pu être présent·es à la soutenance, un enregistrement a été réalisé et il est disponible sur https://bbb-s.utc.fr/playback/presentation/2.0/playback.html?meetingId=8a5f70dc7ba3444bbf90ed9c7ef87e96a22f4421-1592497131187

N’hésitez pas à prendre un peu de temps pour en prendre connaissance car cela permet de bien mieux saisir le projet.

8 « J'aime »