Courriel et listes de diffusions

Bonjour à tous,

Je viens de recevoir la demande ci-dessous.
Il est possible que d’autres CHATONS ait eu la même demande, du coup je propose que l’on puisse reflechir au problème collectivement.
Je ne propose pas de service courriel et j’avoue (comme beaucoup) que c’est un sujet assez complexe pour répondre au mieux.
Si un CHATONS magicien en courriel à un tour dans son chapeau, je pourrais répondre à cette association sportive (je vais l’inviter à suivre le forum aussi).

Pour gérer les activités au sein de notre club, nous utilisons les listes de diffusion gérées par le moteur EZMLM de notre hébergement OVH.

Seulement, nous avons en permanence des soucis avec cette solution :

  • Non réception des emails, surtout chez certains fournisseurs comme Yahoo
  • Suppression d’adresses des listes sans message d’alerte
  • Aucun accès à des logs qui permettrait de savoir si des personnes ont quitté la liste volontairement ou ont été retiré par le server

De ce que j’ai compris (je suis ingé conception mécanique donc pas expert), les soucis de non réception sont liés aux différentes règles anti-spam des messagerie, principalement sur les aspects suivants :

  • Le server envoie les emails aux récipiendaires avec l’adresse originale de l’émetteur au lieu d’une adresse liée à son nom de domaine
  • Le server ajoute au titre de l’email le nom de la liste entre crochets, ce qui constitue une altération de l’email original

Pour éviter ces soucis, nous avons testé les Framalistes, mais certains recevaient les emails sur leur applications mail téléphonique avec comme seule identification l’adresse de la Framaliste, et donc sans aucun moyen de savoir quelle personne physique avait envoyé l’email (si elle n’avait pas signé son email).

Aujourd’hui ces soucis me prennent énormément de temps à gérer car il faut expliquer à chaque adhérent pourquoi nous avons ces soucis, créer des adresses sur le serveur du club pour les animateurs avec des fournisseurs problématiques comme Yahoo, montrer aux adhérents à mettre des règles de filtrage Gmail, etc… C’est pourquoi je recherche toute l’aide possible que je puisse trouver pour tenter de régler définitivement ces soucis.

Je vous ai trouvé grâce à https://www.chatons.org/.

Auriez-vous connaissance d’une solution qui permettrait d’avoir le meilleur des deux solutions ? Càd d’avoir plus de taux de réception des emails qu’avec EZMLM et une meilleure identification des personnes physiques émettrices des emails pour les personnes récipiendaires ?

En vous remerciant par avance pour votre aimable soutien.

alors effectivement le mail, c’est la grosse galère dès que tu dépasse un certain volume. (raison principale pour laquelle notre asso ne recrute ses adhérents que par cooptation, afin de limiter le nombre et continuer à faire du mail et de la liste de diffusion)

En ce qui concerne framaliste, il me semble qu’on peut gérer les paramètres pour que ça n’anonymise pas l’expéditeur.

Je me permets de référencer les initiatives que je connais / j’ai vu passer :

Les points de frictions identifiés - de ce que j’en comprends, c’est :

  • atteindre les genre ~2 derniers pourcents de providers email capricieux
  • conserver sa réputation avec un nombre d’utilisateur grandissant, là où la confiance dans l’entourage proche pour ne pas générer du trafic assimilé au spam n’est plus suffisant.
  • libérer du temps pour une maintenance / surveillnce en continue (se faire délister de nouveaux providers, adapter sa config en permanence à l’envoi, etc.). Il y a un enjeu sur les possibilités « d’observation » de ce qui se passe. (observability, monitoring, etc.)

D’ailleurs un exemple de fournisseur d’anti spam capricieux, voilà ce qu’on me répond après une demande de delisting (DUL = Dynamic User Listing) :

X.Y.Z.A is listed on DUL because your ISP Proxad has indicated that we
are to list this address on DUL and every mail should be through
their relay. Since Proxad is responsible for this space, we will
not remove any entries from the DUL except on request from the
owner listed in whois. That means that we need to hear from your
ISP(Proxad) prior to removing any listing from the DUL.
If you have further questions, please contact Proxad directly.
Kind regards,
Spam Investigation Team
Trend Micro, Inc.

Bien sûr ici c’est lié à notre choix d’être derrière du résidentiel, mais il y a toujours une raison tordue de refuser de délister.

Il y a des réflexions sur des modes de résistance d’ailleurs :

  • Il faudrait que nos utilisateurs participent activement à augmenter la réputation de notre IP en crééant des comptes outlook, yahoo & co pour nous enlever des spams
  • Solution radicale, on bloque les mails yahoo et microsoft avec une réponse par défaut du type: « Déso, votre fournisseur nous bloque, on fait pareil. Venez chez nous vous allez voir ca va bien se passer ».

Là où je vois la pertinence du collectif, c’est dans la possibilité de peser « plus loud », par exemple en publiant une liste des pires fournisseurs emails / éditeurs anti-spam, basé sur nos stats. Ça peut être une façon de visibiliser le problème, générer une prise de conscience, et donner un argument pour les gens de migrer vers une boite mail CHATONS.

En tout cas c’est donc un problème pas mal orienté autour de SMTP qui est identifié là, plus exactement au niveau « de la fédération email ».

Je pense que @kepon et @Maxime sont des interlocuteurs privilégiés là dessus. Mais je crois qu’aujourd’hui personne « ne se sent prêt » à fournir une solution clé en main - mais je peux me tromper. Donc pour répondre à ton interlocuteur, je suis bien embêté, à part peut-être dire qu’il y aura rien d’automatique chez un CHATONS mais qu’au moins il pourra avoir un interlocuteur humain pour fluidifier ces problèmes.

Je me permets de faire un pas de côté pour parler aussi de ce qui m’anime sur l’email. J’aimerais me libérer du temps pour avancer sur le développement d’un serveur IMAP chiffré, Aérogramme. Côté serveur SMTP, j’ai le sentiment que passer sur des implémentations plus récentes comme Maddy, vSMTP ou Kanader, permettra à la fois une plus grande flexibilité dans la configuration, et une plus grande observabilité de ce qui se passe. En effet, mon hypothèse c’est qu’on perd beaucoup d’énergie à configurer Postfix pour des trucs relativement simples à faire dans des logiciels modernes, parce que le soft se traine des années et années de legacy. On verra si l’hypothèse tient :person_shrugging: .

2 « J'aime »

Salut,

Chez @infini on gère « pas mal » de listes avec sympa depuis un bon moment et je crois savoir pourquoi les gens observent ce comportement, car on fait pareil chez nous :slight_smile:

C’est certainement du à un réglage de sympa qui permet de faire transiter les mails par les listes afin qu’ils soient bien délivrés à certains fournisseurs de mail, comme yahoo par exemple, qui utilisent DMARC/DKIM. C’est bien expliqué sur cette page Formations Sympa : usages avancés [Sympa mailing list server]

Donc pas question de simplement supprimer la signature DKIM et de la remplacer (par celle du serveur, par exemple).

Au final, on est coincés :

  • si on laisse la signature DKIM, on se fait jeter parce qu’elle est invalide
  • si on supprime la signature, on se fait jeter parce qu’elle est obligatoire

Par conséquent, si le domaine définit une politique DMARC restrictive (p=reject, par exemple) tout mail émis depuis ce domaine, diffusé par une liste de diffusion, va revenir en erreur pour ce domaine et pour tous les autres domaines respectant DMARC, par exemple : gmail, hotmail, etc..

La seule parade trouvée pour le moment, c’est de changer le champ From. Oui, c’est brutal (et ça cassera les signatures S/MIME, fort heureusement yahoo ne fait pas de signature S/MIME). Mais au moins les messages arrivent, et vous allez voir que Sympa propose des paramètres de configuration pour ajouter de la variabilité à son traitement de DMARC.

À noter que le champ From est modifié, mais les personnes qui reçoivent le mail peuvent savoir qui l’a vraiment envoyé car l’adresse de l’expéditeur est posée dans le champ Reply-To, afin qu’on réponde à la bonne adresse quand on fait « répondre à ».

Et oui, le mail c’est compliqué et chronophage, on a publié quelques articles à ce sujet pour alerter nos adhérents cf Fuyez Yahoo !, Aol et Hotmail ! - Infini & Pourquoi vos emails arrivent en retard chez [...] - Infini

3 « J'aime »

Sur ce sujet, il pourrait y avoir une plainte à mon avis, ces pratiques ne sont pas normales et à mon avis pas légales. Abus de position dominante, discrimination, peut être qu’il y a aussi des choses dans le code des postes et des communications électroniques.
Ce serait plus simple à prouver avec des stats évidement.

2 « J'aime »

J’aimerais bien essayé d’envoyer des courriers en recommandé pour tâter le terrain, genre à Free, à Trend Micro, à l’ARCEP aussi possiblement. Je n’en attends pas grand chose, mais ça permettrait de faire un premier pas pour tâter le terrain. Je sais pas si ce genre de démarche ça parle à des gens, si d’autres personnes ici ont de l’expérience sur ce sujet / une connaissance de ces milieux, mais si c’est le cas, votre savoir m’intéresse ^^ !

Edit : un autre thread pertinent sur le sujet donc : Beaucoup de mails considérés comme spam ? Chez Free, Orange, Laposte, SFR…

Chez @infini nous avons un adhérent qui envoie quelques dizaines de milliers d’emails par mois, et qui serait prêt à payer quelqu’un pour améliorer leur délivrabilité. Personnellement je ne pense pas que de l’argent nous suffirait pour gérer ça (je travaille pour un opérateur, portant très chiant avec les emails, et qui doit malgré cela payer une équipe dédiée à l’abuse et au déblacklistage pour gérer tout ce bordel).

Cependant, une fois notre défaite admise, ça nous intéresserait carrément qu’il utilise son argent pour passer par un prestataire externe, savez-vous s-il-existe des opérateurs qu’on pourrait lui conseiller ? En prospectant je ne vois aucun service qui se revendiquerait d’une quelconque éthique, et clairement on ne l’enverra pas chez mailjet ou sendinblue…

Chez Retzo.net je propose des passerelles e-mails avec une réputation pas trop dégueu (en tout cas en ce moment :grimacing:) Le service est pour le moment en « Béta », l’interface oMailgw oMailgw pour gérer ces passerelles sortantes est en refonte pour une sortie v1 dans les ~5 mois si tout se passe bien…
Après il faut voir quel service est à faire transiter, le degré de propreté de la chose…

2 « J'aime »

Est-ce que ce éventuellement il pourrait y avoir une plainte collective ou une pétition à mettre en place pour faire prendre conscience de ces pratiques que je trouve « déloyales » ? Avec plusieurs acteurs qui militent pour la neutralité du net…

Si tu veux pouvoir faire transiter des dizaines de milliers d’emails par mois, il faut pouvoir assurer derrière de discuter avec les balklisters, si tu es tout seul je crains que ce soit compliqué

On peut discuter avec les blackisters ? (moi je négocie pas avec les terroristes :-p ) J’ai pris l’option de contournement, plusieurs IP, chez différents fournisseurs… si une est blaclisté, je route ailleurs…

Mais pas de lézard, je comprends que tu préfères faire appel à une grosse boîte

2 « J'aime »

Oui, mais c’est un métier à plein temps…

Au contraire, je préférerais passer par un Chaton, mais ce n’est pas un cadeau d’envoyer des milliers de mails, c’est un énorme boulot de chercher pourquoi certains mails ne passent pas. Si tu penses pouvoir tenir la charge ça ne me pose pas de soucis d’envoyer vers toi, quel budget faudrait-il prévoir ?

Bonjour @kepon,

Peux-tu me faire un devis pour la distribution de mails avec un suivi des blacklistages ? Je l’enverrai à notre adhérent

On en parle en MP

Comme on est mentionnés dans la discussion, et qu’on en a parlé en informel avec plusieurs personnes (même si on créera un fil dédié un peu plus tard), le Cloud Girofle réfléchit à un prototype un peu similaire à ce que développe @kepon (merci à toi :pray:), à savoir une interface/architecture qui permette d’envoyer des mails depuis plusieurs entrées, via plusieurs IPs, avec des règles possiblement un peu fine de paramétrage (e.g: si le provider refuse un mail via telle IP, essayer via celle-là, puis celle-là).

En parallèle de ça, pour répondre à @quentin sur la partie chiffrement, je ne sais pas si tu as vu passer TREES (chiffrement des mails à l’arrivée), qui pourrait être une manière de ne pas repartir de zéro (mais sans doute avec du code legacy un peu partout).

Concrètement on va investir ~1 mois à temps plein (sur mars-avril) pour développer ça, en gardant en tête l’idée de pouvoir servir de relais à des chatons en galère :).

Au plaisir de poursuivre les échanges !

3 « J'aime »

Il existe une petite boite sympa qui fait de la gateway smtp

Sont 2 techos, leurs bureaux sont à 50m de chez moi.
(C’est pas une coop et leurs recettes ne sont pas forcément libre, mais c’est basé sur du libre et c’est pas aws non plus.)

(Juste pour ajouter une option)

(une service chatons dans ce style serait génial )

(Il faut que je te rappelle @kepon :confused: désolé pour le long silence :confused: )

3 « J'aime »

Merci pour le partage, un peu plus d’information sur leur architecture ici architecture_mail

6 relais mails dont un spécifique pour hotmail/outlook

Très intéressant dans tous les cas et si vous créez un groupe pour essayer de mettre en place une initiative de ce type, cela m’intéresse d’y participer.

1 « J'aime »

Oui tout à fait pour la mise en place d’un groupe, je veux bien initier quelque chose dans les jours qui viennent :slight_smile:

1 « J'aime »

Moi je suis chaud pour un groupe, c’est mon sujet du moment : oMailgw pour gérer ces passerelles sortantes - #7 par kepon

2 « J'aime »

Intéressé aussi pour ce groupe !

Chez Kaz.bzh, on a 2 IP, une pour notre postfix principal et une autre pour sympa+postfix. Et on est régulièrement confronté au blacklistage ou autre refus de certains providers (je déteste Yahoo :wink: ) même si on arrive plus ou moins à s’en sortir avec un peu/beaucoup de temps.

f.

1 « J'aime »