John Mueller, Search Advocate de Google, a partagé ses idées sur le diagnostic des problèmes d’exploration répandus.
Ces conseils ont été partagés en réponse à une perturbation signalée par Adrian Schmidt sur LinkedIn. Le robot d’exploration de Google a cessé d’accéder à plusieurs de ses domaines en même temps.
Malgré l’interruption, Schmidt a noté que les tests en direct via la Search Console continuaient de fonctionner sans message d’erreur.
Les enquêtes n’ont révélé aucune augmentation des erreurs 5xx ou des problèmes liés aux requêtes robots.txt.
Quel pourrait être le problème ?
La réponse de Mueller
Abordant la situation, Mueller a pointé du doigt les infrastructures partagées comme étant la cause probable :
« S’il est partagé sur plusieurs domaines et se concentre sur quelque chose comme l’exploration, il s’agit probablement d’un problème avec un élément d’infrastructure partagé. Si la récupération est déjà en cours, au moins ce n’est plus urgent et vous avez un peu de temps pour consulter les modifications récentes/les journaux d’infrastructure.
Enquête sur les infrastructures
Tous les sites concernés utilisaient Cloudflare comme CDN, ce qui a fait sourciller.
Interrogé sur le débogage, Mueller a recommandé de vérifier les données de la Search Console pour déterminer si le DNS ou les requêtes ayant échoué étaient à l’origine du problème.
Mueller a déclaré :
“Les statistiques d’exploration dans la Search Console en montreront également un peu plus, ce qui aidera peut-être à décider entre, par exemple, le DNS et l’échec des requêtes.”
Il a également souligné que le timing était un indice clé :
“Si tout se passait exactement au même moment, ce ne serait pas robots.txt, et probablement pas DNS.”
Impact sur les résultats de recherche
Concernant les problèmes de visibilité des recherches, Mueller a assuré que ce type de perturbation ne poserait aucun problème :
“Si cela date d’aujourd’hui et que cela n’a duré que quelques heures, je ne m’attendrais à aucun problème visible dans la recherche.”
Pourquoi c’est important
Lorsque Googlebot arrête soudainement d’explorer plusieurs sites simultanément, il peut être difficile d’en identifier la cause première.
Même si les pauses temporaires d’exploration n’ont pas d’impact immédiat sur les classements de recherche, elles peuvent perturber la capacité de Google à découvrir et à indexer de nouveaux contenus.
L’incident met en évidence une vulnérabilité à laquelle les organisations peuvent être confrontées sans s’en rendre compte, en particulier celles qui s’appuient sur une infrastructure partagée.
Comment cela peut vous aider
Si Googlebot arrête d’explorer vos sites :
Vérifiez si le problème touche plusieurs sites à la fois Examinez d’abord votre infrastructure partagée Utilisez les données de la Search Console pour en affiner la cause N’excluez pas le DNS simplement parce que le trafic régulier semble correct Gardez un œil sur vos journaux
Pour toute personne exécutant plusieurs sites derrière un CDN, assurez-vous de :
Ayez une bonne configuration de journalisation Surveillez vos taux d’exploration Sachez qui appeler lorsque les choses tournent mal Gardez un œil sur votre fournisseur d’infrastructure
Image en vedette : PeopleImages.com – Yuri A/Shutterstock
