Google met en garde contre l’utilisation de 404 et d’autres erreurs d’état de serveur client 4xx, telles que 403, dans le but d’essayer de définir une limite de vitesse d’exploration pour Googlebot. « S’il vous plaît, ne faites pas ça », Gary Illyes de l’équipe Google Search Relations écrit.
Pourquoi l’avis. Il y a eu une augmentation récente du nombre de sites et de CDN utilisant ces techniques pour tenter de limiter l’exploration de Googlebot. « Au cours des derniers mois, nous avons remarqué une augmentation du nombre de propriétaires de sites Web et de certains réseaux de diffusion de contenu (CDN) essayant d’utiliser 404 et autre 4xx erreurs client (mais pas 429) pour tenter de réduire le taux d’exploration de Googlebot », a écrit Gary Illyes.
Que faire à la place. Google a un document d’aide détaillé juste sur le thème de la réduction de l’exploration de Googlebot sur votre site. L’approche recommandée consiste à utiliser les paramètres de vitesse d’exploration de Google Search Console pour ajuster votre vitesse d’exploration.
Google a expliqué : « Pour réduire rapidement le taux de crawl, vous pouvez modifier le taux d’exploration de Googlebot dans la Search Console. Les modifications apportées à ce paramètre sont généralement reflétées en quelques jours. Pour utiliser ce paramètre, commencez par vérifier la propriété de votre site. Veillez à ne pas définir le taux d’exploration sur une valeur trop faible pour les besoins de votre site. En savoir plus sur ce que signifie le budget de crawl pour Googlebot. Si la Paramètres de vitesse d’exploration n’est pas disponible pour votre site, déposer une demande spéciale pour réduire le taux de crawl. Vous ne pouvez pas demander une augmentation du taux de crawl.
Si vous ne pouvez pas le faire, Google dit alors « réduisez le taux d’exploration pendant une courte période (par exemple, quelques heures ou 1-2 jours), puis renvoyez une page d’erreur d’information avec un 500, 503 ou 429 Code d’état de la réponse HTTP.
Pourquoi nous nous soucions. Si vous avez remarqué des problèmes d’exploration, votre fournisseur d’hébergement ou CDN a peut-être récemment déployé ces techniques. Vous voudrez peut-être soumettre une demande d’assistance avec eux pour leur montrer le billet de blog de Google sur ce sujet afin de vous assurer qu’ils n’utilisent pas de 404 ou 403 pour réduire les taux d’exploration.