Les robots d’exploration appelés spider (ou parfois crawlers, ou bots) rendent visite très souvent à votre site pour l’épier et rapporter leurs observations aux moteurs de recherche.
Qu’est-ce qu’un spider ?
Un spider a pour rôle de visiter chaque site présent sur la toile dont il scanne scrupuleusement les pages une par une, afin de mémoriser tous les mots et répertorier tous les liens externes. En d’autres termes, son rôle est primordial pour garantir votre visibilité sur le Web, car le résultat de l’analyse du robot est déterminant sur la qualité d’indexation de votre site.
Comment fonctionne un spider ?
Le spider exécute deux tâches majeures :
- Il lit les pages Web et les enregistre dans l’index du moteur de recherche.
- Il décompose ensuite le texte extrait de la page en mots, et détecte les liens pour aller explorer les pages auxquelles ils conduisent.
Ces deux tâches sont effectuées lors du crawl : les spiders sont chargés de crawler les sites, dont le vôtre >>.
Le process d’un spider est continu, 7 jours/7 et 24h/24 : quand il trouve une page, il en charge le contenu sur sa base de données. Au passage, il détecte les liens internes (conduisent sur des pages du site) ou externes (conduisent sur d’autres sites). Il explore les nouvelles pages, détecte les liens, etc.
Il parcourt ensuite les liens hypertextes entre les pages, et revient périodiquement sur les pages pour mettre à jour les données du moteur de recherche pour prendre en compte les éventuelles modifications. Quand le programme arrive sur une page déjà visitée, il contrôle si la version actuelle est plus récente que celle qu’il possède. Si la version est identique, il passe son chemin. Si la version est différente, il update les informations, ainsi l’index reste à jour.
Que fait le spider pour savoir si une page a été modifiée ?
Trois critères majeurs sont explorés :
- La date de modification,
- La taille de la page,
- Le taux de modification (ainsi des modifications mineures n’entraîneront pas de mise à jour de l’index).
Comment anticiper le comportement du robot spider ?
Les spiders peuvent indexer plus d’un million de documents par jour. Cependant, le Web a pris tellement de volume qu’il est parfois impossible de prédire leur comportement. Il est essentiel de se concentrer sur les pages importantes de votre site, comme les pages d’atterrissage ou celles qui contiennent des mots-clés recherchés.
La fréquence de visite d’une page existante dépend de la fréquence de mise à jour. Ainsi, une page d’actualité peut être visitée jusqu’à tous les jours, si vous la mettez à jour quotidiennement. Tandis qu’une page fixe, rarement modifiée, sera visitée par le spider beaucoup moins souvent.
