Au moins 69 des 1 000 sites Web les plus populaires au monde ont bloqué GPTBot, le nouveau robot d’exploration Web OpenAI introduit le 7 août, selon une nouvelle analyse.
Et le pourcentage de sites augmente d’environ 5 % par semaine, selon le service de contenu IA et de plagiat Originality.ai.
Pourquoi nous nous en soucions. Bloquer ou ne pas bloquer ChatGPT ? C’est la grande question de nombreux référenceurs. De toute évidence, plusieurs sites Web populaires ont déjà bloqué GPTBot, probablement parce qu’ils ne veulent pas qu’OpenAI récupère leurs données pour aider à former ses modèles – du moins pas sans compensation. De plus, ChatGPT ne cite ni ne crée de lien vers ses sources.
Par les chiffres. Les 15 sites les plus populaires bloquant ChatGPT, selon l’analyse, sont :
- amazon.com
- quora.com
- nytimes.com
- Shutterstock.com
- wikihow.com
- cnn.com
- foursquare.com
- ligne santé.com
- scribd.com
- businessinsider.com
- Reuters.com
- Medicalnewstoday.com
- bonentretien.co
- amazon.fr
- tumblr.com
Mais. Même si de nombreux sites bloquent GPTBot, ils ne bloquent pas également CCbot, le robot d’exploration Web de Common Crawl. Une partie des données de formation utilisées par OpenAI, Google et autres proviennent de Common Crawl.
Il existe quelques exceptions notables qui bloquent les deux robots, comme le New York Times, qui ne souhaite clairement pas que son contenu soit utilisé pour entraîner des systèmes d’IA. D’autres sites Web populaires bloquant à la fois GPTBot et CCbot incluent Shutterstock.com, Reuters.com et Goodhousekeeping.com.
- Au moins 62 des 1 000 principaux sites Web ont bloqué CCBot.
Limites. 241 fichiers robots.txt sur les 1 000 sites Web n’ont pas été identifiés/inspectés dans le cadre de cette analyse. (C’est pourquoi j’ai écrit « au moins » dans la phrase d’ouverture.)
Analyse d’Originality.ai. Sites Web qui ont bloqué le GPTBot d’OpenAI – Étude sur 1000 sites Web
Creusez plus profondément. Devriez-vous empêcher le plug-in du navigateur Web de ChatGPT d’accéder à votre site Web ?
