SM2TP : GT mutualisation SMTP

Groupes de travail Mutualisation SMTP
23

Bonjour à tous,

Petit retour, suite à mon mailing commencé hier pour annoncer une mise à jour de mon logiciel.
Quelques chiffres:

  • 2.169 messages prévus
  • envoi de 100 messages toutes les 5 min
  • ~1.600 déjà fait
  • Pour l’instant, juste 6 messages en grosses erreurs (code 55x)

La remarque que je fais est que j’ai eu ce genre d’erreur sur mes envoies:

[ ID 116] Erreur d’envoi du message Courrier Diacamma - Juillet 2024 à ---adresse-masque---@live.com | SMTP Error: data not accepted.SMTP server error: DATA END command failed Detail: Service shutting down, closing channel SMTP code: 421 Additional SMTP info: 4.3.2 SMTP Error: data not accepted. => Prochaine tentative dans 60 minutes
[ ID 116] Erreur d’envoi du message Courrier Diacamma - Juillet 2024 à ---adresse-masque---@gmail.com | The following From address failed: info@diacamma.org : MAIL FROM command failed,SMTP server error: MAIL FROM command failedSMTP server error: MAIL FROM command failed The following From address failed: info@diacamma.org : MAIL FROM command failed,SMTP server error: MAIL FROM command failed => Prochaine tentative dans 60 minutes

J’ai l’impression que c’est ce qu’évoquait @bohwaz sur le points « 1.6 Connaître et prendre en compte les seuils d’envoi (rate limiting) des destinataires type Orange, Gmail, etc. »
Là, mon système de mailing choisi de retenter d’envoyer ce message dans 60 min.
Par contre, je ne sais pas si ce délai correspond à ce qu’attend Google ou Microsoft.

A noter que mon envoi à une erreur: je n’ai pas d’entête « List-Unsubscribe » sur ce mailing (mais il y a bien un lien « vous désabonner » dans le message).
Avant envoie, j’ai pu teste mon message avec https://www.mail-tester.com : il m’avait donné 10/10 avec une petite réserve sur le « List-Unsubscribe » manquant.
Je prévois de remplacer mon système de Forum + mailing (actuellement via des extensions Joomla!) sur un solution basé du Discourse. J’espère, qu’alors, mes messages seront mieux construit.

24

J’ai pas l’impression que ça soit lié, j’ai l’impression plutôt que tu as un souci dans ton logiciel qui fait l’envoi en SMTP…

Normalement quand tu es bloqué tu as un message explicite qui te le dis, venant du SMTP destinataire.

1 « J'aime »
25

C’est bon, j’ai mis à jour le Framadate pour la prochaine réunion. J’ai simplement supprimé les dates de juillet mais j’ai gardé tous les créneaux à partir du 19 août. Bien évidemment, si vous avez décidé de faire sur cette semaine du 19 et pas sur la suivante, vous pouvez ne remplir que les dates qui vous intéressent.
Je n’ai encore pas lu le CR mais je devrais trouver un peu de temps dans le week-end pour le faire.
Miaou.

2 « J'aime »
26

Bonjour à tous
Désolé également j’ai eu un contre temps et je n’ai pas pu me rendre disponible.
J’espère pouvoir le faire pour la prochaine et je vais lire le CR.

27

Finalement, je crois que j’ai bien fait d’oublier cette 1ere réunion. Je pense que j’aurais coulé une bielle :joy:
Trop de boulot pour une réunion d’1 heure. Donc je n’aurais pas le temps de tout comprendre ce week-end. Mais j’aurais le temps d’ici le 19 août.
Ce que je peux dire tout de suite :

  • Je vais éviter de vous faire faux bond à la prochaine réunion
  • Si le binôme d’animation agréé tout le monde, je suis volontaire pour le faire avec @sekil.

De manière macro, la solution qui me botterait vraiment, c’est que le service mis en œuvre soit dupliqué pour chaque lien entre 2 structures. Par exemple, si 3 structures (A, B et C) ont décidé de partager le service, il y aurait quand même 3 services déployés. 1 entre A et B, 1 entre B et C et 1 entre A et C. Si la structure D a choisi de partager le service avec A mais pas avec B et C, il y aura un aussi un service entre A et D mais pas entre B et D, ni entre C et D. Du coup, si une structure disparaît, tout continue de fonctionner sans problème. L’idée c’est aussi que chaque service soir déployé sur les infra existantes de chaque structure et ne nécessite pas de serveur mutualisé. Donc le service entre A et B serait installé sur le serveur de A et sur le serveur de B.
De ce que je comprends, la seule chose qui me semble intéressant de partager entre tous, c’est la BDD des bounces, Pour ça, je pense qu’il doit exister des BDD qui sont capables de se consolider automatiquement.
Ce système est sans doute le plus complexe à réaliser, mais il devrait permettre de ne pas créer de service support/maintenance partagé. Chaque structure reste responsable du traitement des anomalies et l’utilisation d’un tel service entre les structures restent de leur propre responsabilité.
En espérant être clair.
Bonnes vacances à tous :beach_umbrella: avant une reprise sur les chapeaux de roue.

1 « J'aime »
28

A vrai dire ça a permis de préciser les besoins et objectifs de chacun.

Pour ma part je n’y vois pas du tout d’objection, au contraire, étant donné que je ne sais pas bien en quoi consiste l’activité d’animation ! :smiley:

A mon sens, créer un service par tuple d’organisation risque de faire exploser la combinatoire et de nous limiter. Si l’objectif est de permettre à chaque organisation de choisir avec qui s’appairer, il faudra imaginer une fédération sélective sur la base de données des bounces et sur le service de relai.

Je vais commencer à réfléchir à une architecture fonctionnelle et faire des schémas.

1 « J'aime »
29

A mon avis, ça commence par être présent aux réunions qu’on organise :rofl:
Pour le reste, on pourra en discuter ensemble.

1 « J'aime »
30

ça c’est déjà possible « en l’état » avec oMailgw, je l’avais pensé dans se sens…

Pour moi c’est qu’une (toute) partie du problème les bounces. La réputation IP, non blacklistage c’est à mon avis plus difficile à avoir/maintenir (même si ça passe partiellement par cette historie de bounces)

Mais bon pour le moment tout à l’air très ouvert…

2 « J'aime »
31

17 messages ont été scindés en un nouveau sujet : Architecture fonctionnelle mutualisation SMTP

37

Je me permets de ping @ThomasC qui avait lancé le sujet initial Mutualisation SMTP et qui n’a peut-être pas vu le lancement de ce GT :slight_smile:

2 « J'aime »
47

3 messages ont été scindés en un nouveau sujet : Quels langages pour ce développement?

51

Thomas est en vacances. Déconnectées à priori.

52

Salut,
Je crée une sous-catégorie dédiée à ce GT (décision autonome). Je pense qu’il y a déjà plusieurs sujets dans ce fil de discussion qui mériteraient des sujets distincts.
A+,
ljf

1 « J'aime »
53

Merci @ljf super :slight_smile:

57

J’ai ré-organisé la liste de questions pour placer l’état des lieux et les intentions d’usage avant les questions techniques.

J’ai placé une question sur la gouvernance du service. Je pense qu’on est déjà raccords sur le sujet mais c’est bien de statuer.

58

Bonjour @ThomasC , @LautreG, @Adrien, @quentin, @Maxime, @whilelm @sekil, @ljf, @tms, @chris2fr, @ManchotManosquin, @Meewan, @keo, @pyg, @rodinux, @laurent, @kepon, @bohwaz, @ppom, @tcit, @stephane, et à toutes celles et ceux qui suivent ce GT,

Si je fais une c… en pinguant toutes ces adresses, n’hésitez pas à me le dire. Perso, je reçois tous les posts de cette discussion dans ma BAL mais je pense que c’est parce que je suis le créateur de cette discussion. Dans tous les cas, je prévois de reparler de ce sujet comm à la prochaine réunion.

Ce post va être un peu long : Désolé pour celles et ceux qui n’ont pas beaucoup de temps à consacrer à ce GT.

J’ai pris le temps de reparcourir tous les messages. Il y a plein de sujets où je ne comprends qu’une phrase sur deux mais ce n’est pas un problème, au contraire. Voilà une synthèse de ma vision du projet :

1 – Au vu du remplissage du Framadate, la prochaine réunion aurait lieu le lundi 19 août à 21h. Je laisse le soin à chacune et chacun de compléter le framadate jusqu’au dimanche 11 août et je confirmerai ou infirmerai ce créneau le lundi 12 août. Perso j’ai mis ce RDV en TBC (To be confirmed) dans mon agenda.

2 – Avant que ce ne soit trop tard, je proposerais bien de changer le nom du GT en SDMTP (Single Distributed Mail Transfert Protocol). Ça me semble faire du sens par rapport à la direction actuelle, mais si ça fout trop le bordel, notamment dans les outils déjà mis en œuvre, on peut laisser tomber. Alertez !

3 – A date, il me semble que ça serait intéressant de créer 4 voire 5 sous-groupes pour ce GT hyper-actif:

  • Coordination/animation : Il s’agit de la coordination/animation du GT en lui même. A date Sekil et moi-même nous sommes proposés mais j’avoue que ljf et/ou ppom et leur maîtrise des outils CHATONS seraient les bienvenu.es : Les décisions autonomes sont appréciées de tous :wink:. Enfin pour pyg et Framasoft, tu fais au mieux mais nous ne refuserons ni ton expérience si tu trouves un peu de temps à nous consacrer tout en prenant soin de toi, ni toutes les contributions de Frama.
  • Organisation : Il s’agit de poursuivre le travail sur l’organisation de la communauté à lancer et à faire vivre autour de ce projet. En lien avec l’importance que rappelle David (Kepon), je pense personnellement qu’il faut faire avancer ce sujet en parallèle des 2 suivants
  • Fonctionnel : Un grand merci pour le travail principalement déjà réalisé par Sekil, David et Bohwaz. Perso, j’aime bien que cette thématique ait été différenciée de la thématique technique. Pour ce groupe, je note un point d’orga sur la liste des questions fermées / liste des exigences : De mon point de vue, c’est une manière un peu différente d’arriver au même résultat. Il faudrait faire un choix de l’outil qu’on préfère et je me pose la question d’une intégration dans le framagit ?
  • Technique : Je ne sais pas s’il faut continuer sur la discussion créée par ljf mais, il y a un sujet. La proposition de Bohwaz de passer par un prototype fait partie du travail de ce sous-groupe qui devra s’appuyer sur le travail des 2 sous-groupes précédents.
  • Sujets connexes : Il s’agit d’un sous-groupe qui pourrait traiter les sujets connexes tel que les questions opérationnelles de Laurent, un outil de best-practices, la gestion du glossaire initialisé par Sekil, le whois sur le nom de domaine et traiter comme suspect un domaine qui a moins d’un an d’existence (Bohwaz), …

Bien évidemment, chacune et chacun peut faire partie d’aucun, de plusieurs ou de tous les sous-groupes.

@sekil : Dans l’attente d’étoffer le sous-groupe animation, dis moi si tu veux qu’on fasse une réunion préparatoire à la prochaine réunion. Pas trop dispo avant le 8 août, mais après cette date, ton créneau devrait pouvoir être le mien.

Dans l’attente de la prochaine réunion, un grand salut de tous les copain.es qui sont avec moi depuis le foreztival où j’ai câblé ma 1ere et peut-être dernière prise RJ45 :wink:

Bonnes vacances.

59

Je pense que vu la somme des questions à traiter, le questionnaire technique rédigé par Bohwaz d’une part, l’explication et l’évolution de l’ébauche d’architecture d’autre part, je pense qu’il faudrait dès maintenant prévoir 2 réunions d’ici fin aout.

Je pense qu’on a encore le temps avant de statuer sur un nom définitif ?

Cela me semble être des activités plus que des sous-groupes. Par exemple je vois mal comment la coordination pourrait être séparée dans un groupe de travail séparé. Par ailleurs, les aspects fonctionnel et technique sont deux étapes du même projet.

S’il fallait créer des sous-groupes, je pense que les thématiques seraient :

  • Best-practices : Echange et documentation des best-practices pour la mise en oeuvre et l’opération d’un service SMTP en émission.
  • Service de relai mutualisé/distribué : Définition du besoin, conception, développement, test et déploiement d’un service de relai partagé entre CHATONS.
  • (Organisation : je n’ai pas compris si tu parles de communication interne/externe c’est à dire un travail de dissémination ; ou bien d’établissement d’une gouvernance commune dans le cas où l’on considèrerait qu’une telle gouvernance serait nécessaire, ce qui n’est pas encore établi)

Je te laisse décider si cela te parait nécessaire. Pour ma part je ne serai pas dispo avant le 16 août. Comme j’ai indiqué, je pense qu’il faudrait 2 réunions : une première axée sur la réponse au questionnaire (les structures ne pouvant assister à la réunion seraient alors invitées à transmettre leurs réponses par écrit), une seconde axée sur l’explication et l’élaboration de l’architecture que j’ai ébauchée (j’ajouterai à la suite de la première réunion une liste de points à discuter pour orienter l’architecture).

60

Est-ce que tu veux que je fasse le tri et que je crée les sujets associés ?

61

@sekil Fais comme tu veux. Je suis avec intérêt vos échanges, mais je n’ai pas le temps de vous aider plus sur cette question pour l’instant.

62

Fait.

Pour la lisibilité, il serait préférable de concentrer ici les discussions liées à l’organisation des réunions, et ouvrir de nouveaux sujets pour les questions techniques et de gouvernance.

2 « J'aime »