Ces robots spider qui épient régulièrement votre site

Les robots d’exploration appelés spider (ou parfois crawlers, ou bots) rendent visite très souvent à votre site pour l’épier et rapporter leurs observations aux moteurs de recherche.

Qu’est-ce qu’un spider ?

Un spider a pour rôle de visiter chaque site présent sur la toile dont il scanne scrupuleusement les pages une par une, afin de mémoriser tous les mots et répertorier tous les liens externes. En d’autres termes, son rôle est primordial pour garantir votre visibilité sur le Web, car le résultat de l’analyse du robot est déterminant sur la qualité d’indexation de votre site.

Comment fonctionne un spider ?

Le spider exécute deux tâches majeures :

  1. Il lit les pages Web et les enregistre dans l’index du moteur de recherche.
  2. Il décompose ensuite le texte extrait de la page en mots, et détecte les liens pour aller explorer les pages auxquelles ils conduisent.

Ces deux tâches sont effectuées lors du crawl : les spiders sont chargés de crawler les sites, dont le vôtre >>.

Le process d’un spider est continu, 7 jours/7 et 24h/24 : quand il trouve une page, il en charge le contenu sur sa base de données. Au passage, il détecte les liens internes (conduisent sur des pages du site) ou externes (conduisent sur d’autres sites). Il explore les nouvelles pages, détecte les liens, etc.

Il parcourt ensuite les liens hypertextes entre les pages, et revient périodiquement sur les pages pour mettre à jour les données du moteur de recherche pour prendre en compte les éventuelles modifications. Quand le programme arrive sur une page déjà visitée, il contrôle si la version actuelle est plus récente que celle qu’il possède. Si la version est identique, il passe son chemin. Si la version est différente, il update les informations, ainsi l’index reste à jour.

Que fait le spider pour savoir si une page a été modifiée ?

Trois critères majeurs sont explorés :

  1. La date de modification,
  2. La taille de la page,
  3. Le taux de modification (ainsi des modifications mineures n’entraîneront pas de mise à jour de l’index).

Comment anticiper le comportement du robot spider ?

Les spiders peuvent indexer plus d’un million de documents par jour. Cependant, le Web a pris tellement de volume qu’il est parfois impossible de prédire leur comportement. Il est essentiel de se concentrer sur les pages importantes de votre site, comme les pages d’atterrissage ou celles qui contiennent des mots-clés recherchés.

La fréquence de visite d’une page existante dépend de la fréquence de mise à jour. Ainsi, une page d’actualité peut être visitée jusqu’à tous les jours, si vous la mettez à jour quotidiennement. Tandis qu’une page fixe, rarement modifiée, sera visitée par le spider beaucoup moins souvent.

Partager sur linkedin
LinkedIn
Partager sur twitter
Twitter

Vous aimerez aussi ...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Téléchargez gratuitement la Check-List du SEO réussi

Mémo indispensable du rédacteur :

Les 20 incontournables du SEO à ne pas oublier pour bien se référencer.

La protection des données nous tient à cœur. Vous pouvez vous désinscrire de ce type de communications à tout moment. Pour plus d'informations, consultez notre politique de confidentialité.

Partagez notre blog !

Partager sur linkedin
Partager sur twitter
Partager sur pinterest

Abonnement Gratuit

Ne ratez plus les infos importantes sur le SEO

Recevez toute l’information SEO, Inbound, Moteurs, Google, gratuitement en avant-première.

La protection des données nous tient à cœur. Vous pouvez vous désinscrire de ce type de communications à tout moment. Pour plus d'informations, consultez notre politique de confidentialité.

Nos derniers articles

Les mots-clé du prospect révèlent une comparaison à la concurrence

Quels critères pour choisir les bons mots-clés ?

Tarte à la crème et SEO : test des moteurs de recherche

Que se passe-t’il derrière une requête d’un internaute dans un moteur de recherche ? Qu’est-ce qu’une SERP ?

Crawler les sites : comment les robots des moteurs de recherche opèrent ?

Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considérerons que vous acceptez l’utilisation des cookies. Voir notre Politique de confidentialité.