Google LLC, Microsoft Corp., Anthropic PBC et OpenAI Group PBC ont annoncé aujourd'hui leur intention de prendre en charge une prochaine norme d'exploration de sites Web.
La technologie permettra aux opérateurs de sites Web d’empêcher les développeurs d’intelligence artificielle d’utiliser leur contenu pour entraîner leurs modèles.
De nombreux sites Web contiennent un fichier texte intitulé « robots.txt » qui informe les robots d'exploration du contenu auquel ils peuvent accéder. Un éditeur peut utiliser le fichier pour bloquer le scraping à tous les niveaux ou rendre inaccessibles uniquement des pages Web spécifiques. Il est également possible d'inclure certaines autres instructions. Par exemple, une entreprise peut demander aux robots d’exploration de ne pas visiter son site Web trop souvent.
Les opérateurs de sites Web utilisaient historiquement les fichiers robots.txt pour gérer la façon dont les moteurs de recherche interagissent avec leurs propriétés. De nos jours, la technologie permet également de réguler l’activité des scrapers avec lesquels les fournisseurs d’IA collectent les données d’entraînement.
Une entreprise qui souhaite interdire le scraping lié à la formation doit apporter plusieurs modifications au fichier robots.txt de son site Web. En particulier, il doit ajouter une entrée distincte pour chaque fournisseur d’IA. Si un fournisseur d'IA utilise plusieurs scrapers pour collecter des données, chaque scraper nécessite sa propre entrée robots.txt.
Le standard d'exploration soutenu par Google, Microsoft, Anthropic et OpenAI vise à simplifier le processus. Cela permettrait aux opérateurs de sites Web de bloquer tous les scrapers qui collectent des données de formation pour les modèles d'IA génératifs avec une seule entrée robots.txt. Le paramètre ne s'appliquerait pas aux modèles qui « effectuent exclusivement des tâches non génératives ».
La structure des fichiers robots.txt suit un format standardisé appelé Robots Exclusion Protocol. Google, Microsoft, Anthropic et OpenAI prévoient d'incorporer leur norme d'exploration dans le format. Ils ont déjà soumis une version préliminaire de leur proposition à l’Internet Engineering Task Force, l’organisation à but non lucratif qui gère le protocole d’exclusion des robots.
Microsoft a déclaré dans un article de blog qu'il fournira également un paramètre d'exploration appelé AI Grounding. Il est conçu pour les situations dans lesquelles un modèle d'IA cherche à accéder à une page Web afin de répondre à une question d'un utilisateur plutôt que de collecter des données de formation.
Le paramètre de Microsoft permettra aux opérateurs de sites Web d'empêcher ses services d'envoyer de telles demandes. La fonctionnalité s'étendra également aux outils d'IA tiers qui utilisent les technologies Microsoft pour traiter les invites.
OpenAI prévoit de proposer des contrôles similaires. Le développeur ChatGPT et Microsoft ont l'intention d'ajouter la prise en charge de la norme d'exploration dans les mois à venir, tandis que Google emboîtera le pas l'année prochaine. Meta Platforms Inc. a exprimé son soutien pour l'idée derrière la technologie, mais ne s'est pas encore engagé à la mettre en œuvre.
