Reddit a mis à jour son fichier robots.txt, empêchant Bing et de nombreux autres moteurs de recherche d'explorer le site. « Bing a arrêté d'explorer Reddit après avoir mis en place son fichier robots.txt mis à jour le 1er juillet, qui interdit toute exploration de son site », a déclaré un représentant de Microsoft à Search Engine Land.
Ce qui s'est passé. Le 1er juillet 2024, Reddit a mis à jour son fichier robots.txt, empêchant de nombreux moteurs de recherche et outils d'IA d'explorer le site. Reddit n'a pas empêché Google de crawler le site, malgré ce que certaines personnes ont pu penser plus tôt ce mois-ci. Mais Reddit a empêché la plupart des autres crawlers de crawler le site.
Plus tôt ce matin, Mark Williams-Cook notifié je me suis rendu compte que les résultats de Reddit disparaissaient de l'index de recherche Bing. plusieurs médias J'ai commencé à couvrir l'actualité. Je voulais confirmer que les robots d'exploration de Bing étaient effectivement bloqués, car Reddit utilisait la détection IP pour montrer aux moteurs de recherche une version de son fichier robots.txt et aux humains une autre version du fichier robots.txt – comme je l'ai dit. expliqué plus tôt ce mois-ci.
Bing a donc arrêté d'explorer le nouveau contenu sur Reddit, c'est pourquoi lorsque vous filtrez les résultats de Reddit dans Bing Search pour la semaine dernière, tu ne vois rien:
Microsoft a confirmé. Un porte-parole de Microsoft a déclaré à Search Engine Land :
« Nous respectons la norme robots.txt. Bing a arrêté d'explorer Reddit après la mise en œuvre de son fichier robots.txt mis à jour le 1er juillet, qui interdit toute exploration de son site. »
Déclaration de Reddit. Tim Rathschmidt, porte-parole de Reddit, déclare dans une déclaration à The Verge :
« Cela n’a rien à voir avec notre récent partenariat avec Google. Nous avons eu des discussions avec plusieurs moteurs de recherche. Nous n’avons pas réussi à conclure d’accord avec chacun d’entre eux, car certains ne peuvent pas ou ne veulent pas faire de promesses exécutoires concernant leur utilisation du contenu Reddit, y compris son utilisation pour l’IA. »
Pourquoi nous nous en soucions. Reddit a conclu un accord de licence avec Google et peut ainsi jouer la carte de la concurrence avec les autres moteurs de recherche et outils d'IA. Reddit a donc empêché la plupart des autres moteurs de recherche d'explorer son contenu. Pendant ce temps, Google génère un trafic insensé vers Reddit ces derniers temps, notamment en testant un traitement spécial dans ses résultats de recherche pour ces moteurs.
On peut se demander si d’autres grands sites Web peuvent essayer de suivre cette voie et où cela pourrait laisser les petits éditeurs et producteurs de contenu.
En attendant, ne vous attendez pas à voir beaucoup de nouveau contenu Reddit apparaître sur Bing dans un avenir proche.
