Le lexique informatique de sospc20 référence environ 1000 mots. Nous espérons que les définitions que nous vous proposons vous permettront de mieux comprendre le monde informatique en général. Et celui du dépannage en particulier. Pour nous proposer d'ajouter un mot dans notre lexique, contactez-nous.
Crawlers
En référencement Internet (SEO), les moteurs de recherche visitent sans relâche et de manière automatisée les pages du web pour les ajouter à leur index. Cette action s’appelle le crawling.
Elle est réalisée par des crawlers, appelé aussi spider ou bot.
Les robots d’indexation visitent plus ou moins régulièrement les pages d'un site Web pour remettre à jour l’index du moteur de recherche pour lequel ils travaillent.
Selon les crawlers, la fréquence de passage est conditionnée par :
La première étape en référencement est de permettre à ces robots indexeurs de visiter et de comprendre le contenu de vos pages Web.
Pour faciliter le travail des robots indexeurs, il faut respecter quelques règles :
Les règles à respecter pour que le site soit visité par les robots indexeurs
Le premier rôle d'un fichier robots.txt est d'interdire aux robots indexeurs des moteurs de recherche d'indexer certaines parties ou certaines pages de votre site Web.
Le fichier robots.txt peut aussi être utilisé pour indiquer aux robots indexeurs l'adresse du fichier sitemap.xml.