Google explore des alternatives ou des moyens supplémentaires de contrôler l’exploration et l’indexation au-delà de la norme de 30 ans du protocole robots.txt. « Nous pensons qu’il est temps pour les communautés Web et d’IA d’explorer d’autres moyens lisibles par machine pour le choix et le contrôle des éditeurs Web pour les cas d’utilisation émergents de l’IA et de la recherche », Google écrit.
S’engager avec la communauté. Google a déclaré qu’il invitait les membres des communautés Web et IA à discuter d’un nouveau protocole. Google a déclaré qu’il « lâchait un débat public », avec un « large éventail de voix provenant des éditeurs Web, de la société civile, du milieu universitaire et d’autres domaines du monde entier ».
Horaire. Google a déclaré que ces discussions se terminaient « pour se joindre à la discussion, et nous convoquerons les personnes intéressées à participer au cours des » mois à venir « . Donc rien ne se passe trop tôt et rien ne change demain.
Problème de contenu payant. Récemment, Open AI a désactivé la fonctionnalité de navigation avec Bing dans ChatGPT après avoir pu accéder à du contenu payant sans l’autorisation de l’éditeur. C’est l’une des nombreuses raisons pour lesquelles Google recherche peut-être des alternatives au protocole robots.txt.
Pourquoi nous nous soucions. Nous avons tous été accusés d’autoriser l’accès des robots à nos sites Web en utilisant robots.txt et d’autres formes de données structurées plus récentes. Mais nous pourrions envisager de nouvelles méthodes à l’avenir. Ce à quoi ces méthodes et protocoles peuvent ressembler est inconnu pour le moment, mais la discussion est en cours.
