OpenAI, la société derrière ChatGPT a lancé début Août sur robot d’indexation des sites internet.
Toutes les pages indexées serviront à entraîner les modèles de langages de GPT-4 et GPT-5.
La documentation sur leur site a été mise à jour et il est possible de bloquer tout ou partie des sites au robot via les tags classiques ou complètement via le blocage des adresses IPs : OpenAI Platform