Tous les moteurs de recherche fonctionnent en 4 étapes : Indexation, Classement, Extraction, Affichage dans les SERP >> (Search Engine Response Page = page de réponses des moteurs de recherche).
1. Indexation : la première des 4 Étapes du process d’un moteur de recherche
Indexation : comment est-ce que cela fonctionne ?
L’indexation est le process par lequel un moteur de recherche commence par se créer un immense annuaire, appelé index, contenant autant que possible, toutes les pages web présentes sur le web (Des milliards). Ce sont des robots (spiders >>) qui sont en charge de passer sur tous les sites du web. Ils naviguent de lien en lien, on les appelle des spiders, ou sypders, ou crawlers, ou des bots, des Googlebots pour Google, Bingbot pour Bing. Ce sont eux qui sont en charge de l’indexation.
L’indexation de votre site est complète lorsque toutes les pages de votre site sont présentes dans cet annuaire géant, qu’il en contienne 10 ou 1000.
Si l’indexation n’est pas complète, alors certaines pages ne sont pas dans l’annuaire. Si elles ne sont pas dans l’annuaire, appelé souvent index par abus de langage, les internautes ne les trouveront jamais en réponse à leurs requêtes. Nous approfondirons ici – le fonctionnement des spiders.
Le volume d’ indexation de Google est colossal !
Le nombre de pages enregistrées par Google lors de l’indexation est colossal.
- 26 millions pour le 1er index de Google en 1997
- 1 milliard en 2000
- 8 milliards en 2005
(Depuis Google, ne communique plus sur ce point) - 30 000 milliards d’Urls uniques selon Business Insider en 2013
Et Google crawlait à l’époque 20 milliards de pages par jour, selon la même source. Imaginez, une pile de 1 000 kilomètres d’épaisseur de pages analysées tous les jours ! 230 000 pages analysées à la seconde !
Dans un communiqué en 2015, Google parlait d’une indexation de 130 trillions de pages (= 130 milliards de milliards). Imaginez… un annuaire de 6 500 milliards de kilomètres d’épaisseur, 16 millions de fois la distance de la terre à la lune. Et vous devez multiplier tous les chiffres précédents par 4 millions !
2. Classement par pertinence
Suite à l’indexation, le moteur de recherche dispose des pages et de tous les termes qu’elles contiennent dans son immense index. (Raison pour laquelle, par simplification, cet annuaire est souvent appelé index. Et la liste des mots clés, alors appelée « index inversé ».) L’index est donc une base de données géante de mots clés contenus dans les pages. Le moteur attribue à chaque terme de la page un indice différent de pertinence. Cet indice de pertinence attribué à chaque mot de la page détermine le classement de la page en cas de recherche du mot concerné. C’est l’algorithme, tenu si secret qui est en charge de cette opération.
Nous atteignons ici les limites des systèmes existants : imaginez que l’on veuille classer toutes les combinaisons de 1 à 5 mots, des mots présents sur une page de 350 mots. Cela représente (350)5 (350 puissance 5) possibilités. Cela fait 5 000 milliards de possibilités… pour une page. Aucun système ne saurait traiter un tel volume de combinaisons, pour les 100aines de trillion de pages indexées par Google par exemple.
Aucun système actuel n’est capable de traiter autant de données, fut-il celui de Google. C’est là le défi des moteurs de recherches sur lequel ils ont longtemps buté. En réalité aujourd’hui, aucun moteur ne traite toutes les combinaisons des pages enregistrées suite à l’indexation. Ils traitent uniquement des mots et groupes de mots présentant une fréquence d’apparition significative.
3. Identification
Quand un internaute saisit un terme de recherche, le moteur de recherche identifie dans l’annuaire toutes (*) les pages contenant le terme, pour les afficher dans les SERPs. Il faut donc que les termes recherchés par l’internaute soient présents sur votre page, faute de quoi la page en question ne sera pas extraite dans la liste de réponses proposées à l’internaute.
4. Affichage dans les SERP : (SERP = Search Engine Page)
Enfin, le moteur de recherche affiche les résultats trouvés dans son index : ils les affiche sur la SERP en positionnant tous les liens vers les pages classées par pertinence selon l’indice définit à l’étape 2 du classement.
La majorité des mots recherchés par les internautes sont présents sur des centaines de milliers de pages sur le web : il ne suffit pas d’avoir mis une fois le mot recherché sur la page pour qu’elles sortent de la masse et s’affichent dans les premières réponses sur la SERP du moteur de recherche. Pour que votre page soit positionnée sur la première page de réponse du moteur de recherche, il va falloir respecter les critères définis dans le fameux algorithme tenu secret par les moteurs de recherches.
On voit ici la grande confusion que font même les pros, quand la majorité des gens parlent de référencement :
- Le référencement, c’est lorsqu’une page figure dans un annuaire. C’est le résultat de l’étape 1, c’est l’indexation,
- Alors que, lorsque les gens parlent de référencement, ils veulent dire « positionnement ». Ils parlent en réalité dans 90% de leur positionnement qui vient du classement effectué par le moteur de recherche à l’étape 2 de son process.
Les termes de référencement et positionnement sont systématiquement confondus. Beaucoup de gens, spécialistes inclus, parlent de référencement en pensant parler de positionnement ! Référencement et positionnement, nous y revenons ici pour plus de clarification encore >>.
