De notre côté on a aussi un paquet de crawlers, mais c’est un cgit, donc il s’en sort plutôt bien. On a quand-même dû changer le soft utilisé pour la coloration syntaxique.
Visiblement c’est quasi que des IP d’Amazon. Malheureusement notre version de Goaccess est un peu vielle donc je n’ai pas la vue par AS de @neil.
Si jamais ça peut vous aider, à moins que ta version soit très vieille, vous devriez avoir la fonctionnalité, il vous faut juste ajouter la DB d’ASN. Voir mon post plus haut :
Drew DeVault vient de publier un article à ce sujet Please stop externalizing your costs directly into my face
Ce que je compte faire au final sur mon reverse proxy est d’adapter Anubis (déjà mentionné ici) en module pour mon caddy et de le mettre en place pour les services coûteux genre forge Git. Concernant le scraping légitime (Software Heritage par exemple) je vais ajouter une allow-list spécifique qui bypass la protection antibot pour une liste de ranges
Salut tout le monde. On est plus CHATONS, mais Libre en Communs aussi a fait face à des difficultés, assimilable à un moment donné à une DDoS sur notre forge (qui héberge GNU Boot et un jeu vidéo libre nommé Speed Dreams, entre autres).
Premier évènement : #26 - Charge très élevée sur la forge - cominfra/forge - La forge de Libre en Communs
Second évènement : #225 - DDoS sur la forge, provoquant un crash de nginx sur `fontainebleau` - cominfra/infra-generale - La forge de Libre en Communs
Les solutions que nous avons employées ont été le blocage sur la machine visée des user-agents contenant le mot « bot », et sur notre routeur de site un ajout de limitation en nombre de connexions. Au départ fixé à 1 en 10 minutes pendant l’évènement, nous l’avons ensuite abaissé à 30 par minutes, ce qui reste efficace sans gêner l’usage par des personnes légitimes.
La Cominfra de Libre en Communs serait tout à fait volontaire pour participer à une action de groupe si elle avait lieu, dans l’objectif de faire cesser ce type d’actions.
Note : chez nous c’était majoritairement des attaques d’Alibaba