Des retours d'expérience sur la réputation des raccourcisseurs de lien?

Hello!
Je suis un peu dans la sauce avec https://colibris.link , un raccourcisseur de lien utilisant polr.
Il est comme chaque raccourcisseur de lien parfois utilisé par les spammeur ou des vilains pour faire du phishing.
Je réponds vite aux abuse, et vérifie autant que faire se peut les derniers liens créés, mais le fait est qu’a présent, si les gens partagent des url raccourcies par colibris.link dans leur mails, gmail ajoute une entête rouge pour dire que « Ce message semble dangereux ».
Je voulais savoir si vous aviez des astuces pour gérer cette réputation, j’aimerais bien éviter de réserver ce service aux personnes identifiées…

Merci d’avance, et bonne journée!

yourls propose une gestion anti-spam
coté parinux on le met en mode authentifié ca limite les spam je pense

1 « J'aime »

Merci pour ta réponse @dino !
Après j’ai l’impression que le plugin antispam qui marche pour yourls c’est http://blog.yourls.org/2011/04/yourls-abuse-anti-spam-plugins/ qui se base sur google safe browsing.
Je suis pas trop chaud pour les outils de détection de spams qui doivent être bien mais nous rendent gogelo-dépendants…
Et en effet, j’ai l’impression que mettre un identification permettrait de couper court a 97% des spams et abuses, mais on perd le coté open…

sauf si la création de compte est libre juste par validation de l’adresse de courriel mais c’est certes quand même une contrainte
si en bloquant la création des liens a des adresses IP européennes, et leur clic à tout le monde

Hello ! Ici Neil.

Nous avons exactement le même problème, en pire si j’ose dire : notre raccourcisseur de liens est un sous-domaine de notre plateforme principale, que nous utilisons pour tous nos services (s.42l.fr).

Si la réputation de notre raccourcisseur de liens est impactée, tout notre site le sera. Il nous faut donc assurer niveau monitoring.

Quelques indicateurs de réputation à surveiller, entre-autres :

J’ai travaillé dur sur la mise en place de mécanismes et de techniques diverses pour bloquer plus de 95% du spam sans passer ma vie à contrôler ce qui s’y passe et perdre beaucoup de temps, ni devenir trop intrusif vis-à-vis de la vie privée de nos utilisateur·ices.

L’année dernière, lors de la migration de notre raccourcisseur de Lstu à rs-short, j’ai écrit un guide pour gérer le spam : https://git.42l.fr/42l/rs-short/wiki/A-guide-to-system-administration-and-link-shorteners

Signalement automatique des liens suspects

rs-short dispose d’une fonctionnalité qui écrit les liens dans la sortie standard lorsqu’un lien a été cliqué plus de X fois en l’espace de Y heures (les valeurs sont paramétrables dans la configuration). En pratique, voilà comment ça se passe (exemple de ce matin) :

image

J’ai la possibilité de vérifier le lien en question, de voir combien de clics il a eu avec la page d’administration et de marquer le lien comme « phishing » en un clic.

Un lien de phishing est souvent partagé le plus rapidement possible avec plusieurs centaines (souvent milliers) d’adresses mail. Ce pic d’activité est donc détectable.

Sensibilisation sur le hameçonnage

Un lien marqué comme phishing redirige vers cette page :

image

Cette page a deux utilités :

  • On sensibilise les victimes de phishing sur le sujet, pour qu’elles soient moins enclines à se faire piéger à nouveau ;
  • On dissuade (théoriquement !) les scammeurs d’utiliser notre service, car ce n’est pas dans leur intérêt si leur liste de victimes prend conscience du problème.

Le code HTTP renvoyé est 410 Gone pour signaler aux crawlers et aux systèmes de réputation qu’on s’est occupés du problème.

Listes noires

Nous avons mis en place une liste noire de liens vers lesquels notre raccourcisseur n’acceptera pas de raccourcis. Il y a aussi une liste noire de noms de raccourcis, au cas où un spammeur aurait la bonne idée d’utiliser toujours le même nom de raccourci à quelques caractères près.

Toute adresse envoyée qui contiendrait au moins un des mots-clés spécifiés dans notre liste noire est refusée. La requête est interceptée par Fail2ban qui bannit automatiquement l’adresse IP correspondante (de manière temporaire) et envoie un email à une adresse d’administration.

Captcha

Ce mécanisme a son efficacité, mais nous gêne par son manque d’accessibilité. Nous réfléchissons à l’implémentation d’alternatives possibles : form honeypots, utilisation de Javascript (que notre service n’utilise pas pour le moment)…

Mais hélas, les liens qui nous posent le plus problème semblent être envoyés par des humains.

Récentes améliorations apportées

Voilà les mesures en vigueur depuis un an sur rs-short. Depuis, le service a pris un peu plus d’ampleur (notamment avec la fermeture de framalink et huitre), ce qui m’a conduit à apporter de nouvelles améliorations à rs-short.

Bannir les raccourcisseurs de liens

Il est souvent arrivé que les scammeurs utilisent d’autres raccourcisseurs de liens et les chaînent ensemble, échappant ainsi à la blacklist présentée précédemment.

Nous avons maintenant deux listes noires différentes : en plus de la « hard blacklist » décrite ci-dessus, nous avons également une « soft blacklist », qui va simplement avertir l’utilisateur·ice qu’il n’est pas possible d’utiliser une URL déjà raccourcie sur notre service. Nous avons inclus quelques raccourcisseurs connus (bitly, lstu, framalink, linkvertise et notamment colibris).

Il n’est a priori pas utile pour un·e utilisateur·ice lambda de raccourcir deux fois la même URL, et c’est une technique régulièrement utilisée par les scammeurs.

Nous n’avons pas encore pris le temps de lister tous les raccourcisseurs existants (ça serait long !), mais si on détecte des abus, on allongera cette liste.

Bannir les protocoles inhabituels

C’est probablement déjà le cas chez vous, mais bannissez file:// et les autres protocoles qui pourraient potentiellement poser des problèmes de sécurité.

Pour aller plus loin

Signalement automatique sur les domaines sensibles et mots-clés

Il est fréquent que nous recevions des signalements concernant les domaines Wix, Wordpress, 000webhost, Yola, Google Sites, Firebase, GoDaddy Sites et plus globalement, tous les services web qui permettent d’héberger des pages HTML ou d’agencer un peu le site pour que ça ressemble à un site officiel.

Nous avons un récidiviste qui s’amuse à créer de fausses pages de connexion à Orange, au Crédit Agricole, à la Banque Postale…

Je songe donc à mettre en place une nouvelle « blacklist » qui me signalerait automatiquement tout lien raccourci vers ce genre de plateforme, et tout site web contenant quelque chose du genre « banquepostale » ou « web-orange », « messageriemobile », ce genre de choses. Le tout avec des regex, de façon à intercepter les tentatives un peu tordues d’éviter nos filtres.

Cette blacklist ne bloquerait pas directement le lien, mais m’informerait d’un lien potentiellement malveillant que je dois vérifier manuellement, et me donnerait un lien pour le supprimer en un clic, comme pour la fonctionnalité « Signalement automatique des liens suspects ». Avec ça, je peux être réactif dans l’heure sans que ça me prenne trop de temps, et je peux même déléguer cette modération.

Si cela ne devient plus possible, bien que ce n’est pas souhaitable, il est toujours envisageable d’interdire l’utilisation de ces services d’hébergement web avec notre raccourcisseur de liens.

Signaler les abus en amont

Je commence à prendre l’habitude de signaler les liens de phishing sur les hébergeurs en amont. Par exemple, à remplir le formulaire d’abus sur Wix ou Yola dès que j’en ai un de mon côté.

Sachant que ces sites connus ont généralement tous une adresse abuse@, l’idée serait d’automatiser l’envoi du mail de signalement d’abus par rs-short : dès que je marque un lien Wix/Yola ou autre comme « phishing », rs-short regarderait s’il a une adresse email de signalement correspondant à ce domaine et enverrait automatiquement un signalement à l’hébergeur, sans aucune action supplémentaire de ma part.

Cela devrait également dissuader les scammeurs de créer des liens sur notre service, car ils doivent repasser à travers le processus de création de site de leur côté.

Edit: Scanner la page redirigée

J’avais oublié, il y a aussi une autre idée qui pourrait marcher, celle de scanner la page de destination à la recherche de mots-clés (ex.: banque, messagerie mobile, connectez-vous à votre compte…).

Une liste de mots-clés et un système de points pourrait faire l’affaire : chaque mot-clé rapporte un certain nombre de points, au bout d’un certain seuil une alerte nous est envoyée, et au bout d’un seuil plus élevé on pourrait également refuser la création du lien et bloquer l’IP qui a essayé de le créer.

Conclusion

Toutes ces méthodes sont des moyens techniques pour répondre à ce problème, je pense que cela vaut mieux de procéder avec des outils et des scripts automatisés pour faire face à ce problème plutôt que de multiplier les moyens humains sur une tâche qui n’a rien de séduisante.

Le plus important est de savoir jusqu’où il est possible d’automatiser la censure sans déclencher de faux-positifs, et jusqu’où est-il possible « d’humaniser » la censure sans nuire à la vie privée des utilisateur·ices, qui ne souhaitent certainement pas que chaque lien envoyé sur la plateforme soit minutieusement scruté par des personnes humaines et ce, même si nous n’en faisons aucun usage commercial, et que ces contrôles seraient là uniquement à des fins d’administration système et de protection de nos propres services.

Conseils pour colibris.link

Avec un peu de (mal)chance, vous avez les mêmes spammeurs que nous.

Dans votre base de données de liens raccourcis, cherchez les mots-clés suivants :

  • swtest.ru
  • tmweb.ru
  • xsph.ru
  • justns.ru
  • creditagricole
  • messagerie
  • certicode

Et faites le ménage :smiley:

Si vous avez envie, cherchez aussi avec wixsite, wordpress, firebase, yola et les autres domaines cités plus haut.

N’attendez pas que vous receviez un mail abuse@ chez vous. La réputation de votre service aura déjà été impactée. Mettez en place des mécanismes de surveillance qui ne dépendent pas uniquement de signalements tiers, comme tous ceux cités ci-dessus. C’est le seul moyen de lutter efficacement contre le phishing sur votre service.

Ou alors, mettez votre service en privé / inscriptions seulement, comme certains CHATONS le font.

Voilà :slight_smile:

~ Neil, pour 42l

8 « J'aime »

Un grand merci Neil d’@neil pour ton message très complet, avec plein de pistes très opérationnelles. Je vais décortiquer cela attentivement dès que possible!

Avec plaisir ! Si tu as des retours n’hésite pas :slight_smile:

Il est certain que sur ce terrain-là, on joue un peu au jeu du chat et de la souris… On n’arrivera jamais à une solution parfaite pour un service ouvert. Je recommande la lecture de l’article de Framasky sur le spam, qui traite bien du sujet dans sa globalité.

J’oubliais de préciser, il y a aussi la solution Google Safe Browsing comme tu l’as précisé plus haut dans le thread, qui est notamment nativement supportée par Lstu. Mais je ne suis pas trop fan de l’idée de dépendre d’un géant du web pour cela… De plus je doute de son efficacité en pratique, sachant qu’on compte un certain nombre de liens de phishing en provenance de Google Sites… :confused:

Une idée qui serait super chouette mais encore difficile à mettre en pratique, serait de créer une liste noire anti-spam « made in CHATONS », que l’on pourrait se partager entre les membres du collectif, et qui se mette à jour en temps réel. Comme on fait face a priori aux mêmes spammeurs, il y a des chances que l’on puisse mettre en commun nos efforts.

~ Neil

2 « J'aime »

Bonjour,

Petite mise à jour pour vous informer que nous avons été contraint·es de bannir link.infini.fr aujourd’hui sur notre raccourcisseur de liens, suite à une utilisation répétée comme proxy à des fins de phishing.

@infini Nous vous suggérons de renforcer votre politique de modération sur votre plateforme, qui est marquée comme frauduleuse par plusieurs sites de réputation :

C’est un travail qui nécessite du temps et de la motivation, mais qui permettra peut-être de protéger un certain nombre de personnes de tentatives de hameçonnage suite à un usage détourné de vos services.

Bon courage !

EDIT: Exemple d’abus à l’instant.

image

pour info, je viens de me faire flooder aussi…
(des centaine de liens vers des trucs commencant par https://utm.guru ).

J’aimais bien ton idée de mettre en commun une blacklist @neil mais je croies que je vais devoir d’abord nettoyer mon bordel, et mettre en place une authentification, le temps que ca se calme…

edit : et j’ai bien aussi les link.infini.fr dans le lot

Yop, premier message de ma part ici, je fais court, on verra plus tard pour la présentation :slight_smile:

Tu as très bien fait de bloquer link.infini, comme tu le disais plus haut, une personne qui planque un lien court derrière un autre lien court a de forte chances de tenter un truc pas clean. Donc aucun problème de notre côté pour ce blocage.

Perso, je considère les liens courts comme une plaie du web, mais ça ne m’empêche pas de « me forcer » à maintenir cet outil chez nous.

Pour info, on reçoit quelques signalements pour de liens frauduleux sur link, mais c’est bien moins chronophage que ceux qui concernent pic.infini (forcément puisqu’on est un des deux derniers chaton à le proposer en accès libre de ce que j’ai pu voir en parcourant stats.chatons).

2 « J'aime »

Re,

De quel type de « réputation » parles-tu quand tu mentionnes ?

Amha, qu’un sous domaine de votre infra soit marqué comme frauduleux n’est pas forcément problématique pour toute votre infra (je me trompe peut-être). Chez nous les adhérents hébergent un paquet de sites sur des sous domaines en infini.fr et ne se soucie guère de leur impact sur notre « réputation ».

De notre côté, on préfère garder notre temps pour bosser sur l’infra et aider nos adhérent⋅es, côté « censure » on reste sur la posture de l’hébergeur (qui est notre mission principale), par contre on est hyper réactifs aux signalements (sur pic essentiellement et bien moins sur link). J’ai même eu « le plaisir » d’échanger au téléphone avec des « cybers gendarmes » pendant près d’une heure pas plus tard que la semaine dernière :stuck_out_tongue:

[HS]Ça serait potentiellement pertinent un jour d’organiser une réunion d’échange sur le sujet des interactions légales. Nous récemment on a reçu une mise en demeure d’un avocat (mais ça concerne la partie FAI d’ARN).[/HS]