Google a lancé GoogleOther, un nouveau robot d’indexation.
GoogleOther sera utilisé en interne par différentes équipes Google pour explorer le Web public, a dit Gary Illyes de Google sur LinkedIn.
Il respecte les mêmes directives et protocoles que le crawler principal de Googlebot et libérera des ressources pour les principaux crawlers de Googlebot.
GoogleAutre. Google a ajouté GoogleOther à la documentation de ses robots :
« Crawler générique qui peut être utilisé par diverses équipes produit pour récupérer du contenu accessible au public à partir de sites. Par exemple, il peut être utilisé pour des crawls ponctuels pour la recherche et le développement interne. Le robot d’exploration GoogleOther obéit toujours aux règles robots.txt pour son jeton d’agent utilisateur et l’agent utilisateur global
Présentation des robots d’exploration Google (agents utilisateurs) Agent utilisateur.
Le jeton de l’agent utilisateur et la chaîne complète de l’agent utilisateur sont simples, il s’agit simplement de « GoogleOther ». Pourquoi le nouveau bot ?
- Ce nouveau bot « enlèvera finalement un peu de pression à Googlebot », a expliqué Illyes :
« Alors que nous optimisons comment et ce que Googlebot explore, nous voulions nous assurer que les tâches d’exploration de Googlebot ne sont utilisées qu’en interne pour créer l’index utilisé par la recherche. Pour cela, nous avons ajouté un nouveau robot d’exploration, GoogleOther, qui remplacera certaines des autres tâches de Googlebot, telles que les explorations R&D, afin de libérer de la capacité d’exploration pour Googlebot. » Google l’utilise à des fins internes.
Cela signifie-t-il qu’il est utilisé pour Bard ? C’est flou. Devriez-vous bloquer GoogleOther ?
On ne sait pas ce qui se passerait si vous essayez de bloquer ce nouveau bot. Mais je soupçonne que vous devriez garder un œil dessus et si cela cause trop de stress sur votre serveur, vous pouvez décider si vous souhaitez autoriser ou refuser l’accès à votre site pour ce nouveau Googlebot. Pourquoi nous nous soucions.
Vous êtes nombreux à vérifier vos activités d’exploration et l’activité des bots sur votre site Web et dans vos fichiers journaux. Lorsque vous voyez ce nouveau robot GoogleOther, ne vous inquiétez pas. C’est un vrai Googlebot.
