On en a brièvement parlé au chapitre précédent mais sans vraiment entrer dans les détails.
Alors qu'est-ce qu'un robot, pourquoi les moteurs de recherches les utilisent et surtout qu'est-ce que tout ça a à voir avec le référencement ? C'est précisément ce que nous allons voir maintenant.
Un robot est souvent appelé un bot en langage informatique, et d'ailleurs cette appellation de bot est plus correcte sur bien des niveaux. C'est une sorte de programme informatique qui réalise des tâches, et qui est bien souvent automatisé.
Dans le monde du référencement, un robot ou bot est simplement un visiteur de votre site qui passera de page en page à la recherche de nouveau contenu. Sauf que ce visiteur n'est pas comme les autres, il ne s'agit pas de Jean-Abdullah De La Tour ou même de François-Habib De Gascogne.
En réalité il s'agit d'un algorithme automatisé de détection de nouveau contenu, ou de changement dans un contenu existant, qui visite chaque site web de page en page.
C'est une vision un peu simpliste car les robots qu'utilisent les moteurs ne visitent pas tous les sites de la même manière, durant les mêmes intervalles et ne s'intéressent pas exclusivement au nouveau contenu bien que la détection de celui-ci reste sa première priorité.
Le principal robot que auquel nous allons nous intéresser lors de ce tutoriel est celui du moteur de recherche Google, le GoogleBot que vous avez d'ailleurs sans doute déjà "croisé".