Google a apporté une série de mises à jour à son robots d'exploration et récupérateurs déclenchés par l'utilisateur documentation, en divisant principalement le document d'une seule page en plusieurs pages et documents. Mais Google a également étendu le produit concerné par chaque robot d'exploration avec une nouvelle section à côté de chaque robot d'exploration et a ajouté un extrait de robots.txt pour chaque robot d'exploration afin de montrer comment utiliser les jetons d'agent utilisateur par chaque robot d'exploration.
Ce que Google a dit. Google publié à propos de ces changements en disant :
« Nous avons réorganisé la documentation des robots d'exploration et des récupérateurs déclenchés par l'utilisateur de Google. Nous avons également ajouté des notes explicites sur le produit concerné par chaque robot d'exploration et ajouté un extrait de fichier robots.txt pour chaque robot d'exploration afin de montrer comment utiliser les jetons d'agent utilisateur. Sinon, aucun changement significatif n'a été apporté au contenu. »
« La documentation est devenue très longue, ce qui a limité notre capacité à étendre le contenu de nos robots d'exploration et de nos récupérateurs déclenchés par les utilisateurs. »
Quoi de neuf. En plus de déplacer beaucoup de contenu, pour organiser le contenu, Google a également ajouté les sections « produits concernés » et également les sections « Exemple de groupe robots.txt ». Voici une capture d'écran de cette application au robot d'exploration Googlebot, mais elle a été ajoutée à chaque robot d'exploration individuel :
je retiré chacun pour toi :
- Googlebot: Les préférences d'exploration adressées à l'agent utilisateur Googlebot affectent Google Search (y compris Discover et toutes les fonctionnalités de Google Search), ainsi que d'autres produits tels que Google Images, Google Video, Google News et Discover.
- Image de Googlebot : Les préférences d'exploration adressées à l'agent utilisateur Googlebot-Image affectent Google Images, Discover, Google Video et toutes les fonctionnalités de Google Search où les images, les logos et les favicons sont présentés.
- Vidéo de Googlebot : Les préférences d'exploration adressées à l'agent utilisateur Googlebot-Video affectent les fonctionnalités de recherche Google liées aux vidéos et d'autres produits dépendants des vidéos.
- Actualités de Googlebot : Les préférences d'exploration adressées à l'agent utilisateur Googlebot-News affectent toutes les surfaces de Google News (par exemple, l'onglet Actualités dans la recherche Google et l'application Google News).
- Google StoreBot : Les préférences d'exploration adressées à l'agent utilisateur Storebot-Google affectent toutes les surfaces de Google Shopping (par exemple, l'onglet Shopping dans Google Search et Google Shopping).
- Outil d'inspection Google : Les préférences d'exploration adressées à l'agent utilisateur Storebot-Google affectent les outils de test de recherche tels que le test de résultats enrichis et l'inspection d'URL dans la Search Console. Cela n'a aucun effet sur la recherche Google ou d'autres produits.
- GoogleAutre: Les préférences d'exploration adressées à l'agent utilisateur GoogleOther n'affectent aucun produit spécifique. GoogleOther est le robot d'exploration générique qui peut être utilisé par diverses équipes de produits pour récupérer le contenu accessible au public à partir de sites. Par exemple, il peut être utilisé pour des explorations ponctuelles à des fins de recherche et de développement internes. Il n'a aucun effet sur la recherche Google ou sur d'autres produits.
- GoogleAutre-Image: Les préférences d'exploration adressées à l'agent utilisateur GoogleOther-Image n'affectent aucun produit spécifique, comme pour GoogleOther. GoogleOther-Image est la version de GoogleOther optimisée pour la récupération des URL d'images accessibles au public.
- GoogleAutre-Vidéo : Les préférences d'exploration adressées à l'agent utilisateur GoogleOther-Video n'affectent aucun produit spécifique, comme GoogleOther. GoogleOther-Video est la version de GoogleOther optimisée pour la récupération des URL de vidéos accessibles au public.
- Google CloudVertexBot : Les préférences d'exploration adressées à l'agent utilisateur Google-CloudVertexBot affectent les explorations demandées par les propriétaires de sites pour la création d'agents Vertex AI. Elles n'ont aucun effet sur la recherche Google ou d'autres produits.
- Google étendu : Google-Extended est un jeton de produit autonome que les éditeurs Web peuvent utiliser pour gérer si leurs sites contribuent à améliorer les API génératives de Gemini Apps et Vertex AI, y compris les futures générations de modèles qui alimentent ces produits. Google-Extended n'a aucun impact sur l'inclusion ou le classement d'un site dans la recherche Google.
- API-Google : Les préférences d'exploration adressées à l'agent utilisateur API-Google affectent la diffusion des messages de notification push par les API Google.
- AdsBot Mobile Web : Les préférences d'exploration adressées à l'agent utilisateur AdsBot-Google-Mobile affectent la capacité de Google Ads à vérifier la qualité des annonces sur les pages Web.
- AdsBot : Les préférences d'exploration adressées à l'agent utilisateur AdsBot-Google affectent la capacité de Google Ads à vérifier la qualité des annonces sur les pages Web.
- AdSense : Les préférences d'exploration adressées à l'agent utilisateur de Mediapartners-Google affectent Google AdSense. Le robot d'exploration AdSense visite les sites participants afin de leur proposer des annonces pertinentes.
- Sécurité Google : L'agent utilisateur Google-Safety gère l'exploration spécifique aux abus, comme la détection de logiciels malveillants pour les liens publiés publiquement sur les propriétés Google. Il n'est donc pas affecté par les préférences d'exploration.
- Récupérateur de flux : Feedfetcher est utilisé pour explorer les flux RSS ou Atom pour Google News et PubSubHubbub.
- Centre des éditeurs Google : Google Publisher Center récupère et traite les flux que les éditeurs ont explicitement fournis pour être utilisés dans les pages de destination de Google Actualités.
- Lecture à voix haute sur Google : À la demande de l'utilisateur, Google Read Aloud récupère et lit les pages Web à l'aide de la synthèse vocale (TTS).
- Vérificateur de site Google : Google Site Verifier récupère les jetons de vérification de la Search Console.
Pourquoi nous nous en soucions. La lecture des sections sur les produits concernés peut vous aider à mieux comprendre l'impact de chaque robot sur les différents aspects de Google. Certains n'ont aucun impact sur la recherche Google, tandis que d'autres sont essentiels au fonctionnement de la recherche Google.
Les nouveaux exemples de robots.txt peuvent également être très utiles à vous et à vos équipes de développement.
