Découvrez ce qu’il faut savoir sur les 2 types de crawl réalisés par Google.
Comment fonctionne le crawl de Google sur vos sites web. © diy13 – stock.adobe.com
Les 2 méthodes de crawl de Google à connaître
Dans un livestream récent, John Mueller, expert SEO de Google, nous en dit un peu plus sur les 2 méthodes de crawl existantes utilisées par Google :
- un crawl pour découvrir les nouveaux contenus (Discovery),
- un crawl pour actualiser le contenu existant (Refresh).
John Mueller précise qu’il peut y avoir des périodes où votre site est exploré plus que d’autres. « Cela peut arriver. Ce n’est pas tant que nous explorons un site web, mais nous explorons des pages individuelles d’un site web. Et quand il s’agit de crawler, nous avons à peu près deux types de crawl. L’un est un crawl de découverte, où nous essayons de découvrir de nouvelles pages sur votre site web. Et l’autre est un crawl d’actualisation, où nous mettons à jour les pages existantes que nous connaissons. »
À savoir : vous pouvez découvrir à quelle fréquence Googlebot explore votre site via un rapport dans la Search Console.
Pourquoi la fréquence de crawl de Google peut être amenée à varier ?
Pendant le livestream, un expert SEO nommé Swyamdipta Chakraborty aborde le sujet de la fréquence à laquelle Googlebot explore son site. Il a remarqué que Googlebot explorait son site web quotidiennement lorsqu’il publiait régulièrement du contenu, mais il le faisait moins si moins d’articles étaient publiés. John Mueller confirme qu’il peut y avoir des variations concernant le crawl sur vos pages web.
La fréquence de crawl peut varier pour l’ensemble du site web mais elle peut également varier selon les pages web individuelles. Si votre page d’accueil est mise à jour plus régulièrement que les autres pages par exemple, il y aura un crawl plus fréquent de Google sur cette page.
Si nous reconnaissons que les pages individuelles changent très rarement, alors nous réalisons que nous n’avons pas à les explorer tout le temps, souligne John Mueller.
Certains types de sites web sont crawlés plus que d’autres
Certains sites web tels que des sites d’actualités sont susceptibles d’être plus crawlés que les autres. Googlebot est capable de reconnaître ces sites et d’ajuster sa fréquence de crawl.
Par exemple, si vous avez un site web d’actualités et que vous le mettez à jour toutes les heures, nous devrions apprendre que nous devons le parcourir toutes les heures. Alors que s’il s’agit d’un site web d’actualités mis à jour une fois par mois, nous devrions apprendre que nous n’avons pas besoin d’explorer toutes les heures, explique l’expert SEO de Google.
John Mueller précise à ce sujet : « ce n’est pas un signe de qualité, ou un signe de classement, ou quelque chose comme ça. C’est vraiment purement d’un point de vue technique que nous avons appris que nous pouvons explorer cela une fois par jour, ou une fois par semaine, et ce n’est pas grave. »
À lire également
Mythes SEO : 10 idées reçues sur le duplicate, les Core Web Vitals, les liens dofollow…
Recevez par email toute l’actualité du digital
