Robot

Aussi appelé : Crawler, Spider, Bot

  • Concept
  • Intermédiaire
  • Transversal
  • Toujours utilisé

En bref

Un robot (ou crawler) est un programme automatisé qui parcourt les pages web pour les découvrir, les lire et les transmettre à un moteur de recherche.

Définition complète

Un robot (aussi appelé crawler, spider ou bot) est un programme informatique automatisé qui parcourt le web en suivant les liens d’une page à l’autre, pour découvrir, lire et transmettre le contenu des pages à un moteur de recherche. Le plus connu est Googlebot, le robot utilisé par Google.

Le robot ne « comprend » pas une page comme un humain : il lit le code HTML, repère les liens, les images, les balises, puis envoie ces informations à des systèmes qui les analysent et décident si la page mérite d’être indexée (enregistrée dans la base de données du moteur).

Attention : tous les robots ne se comportent pas de la même façon. Certains, comme ceux des moteurs d’intelligence artificielle (GPTBot, ClaudeBot, PerplexityBot…), parcourent aujourd’hui aussi les sites pour nourrir leurs réponses, ce qui change la façon dont les entreprises doivent penser l’accès à leur contenu.

À quoi ça sert

Comprendre ce qu’est un robot permet de savoir pourquoi une page doit être techniquement accessible et lisible pour être un jour visible dans un moteur de recherche. Un site mal construit peut littéralement empêcher les robots de faire leur travail.

Cette notion aide aussi à décider quelles pages on autorise ou non à l’exploration, par exemple pour cacher une page de test, un espace privé ou une page en double.

Enfin, elle permet d’expliquer simplement à un client ou un collègue non technique pourquoi « le site n’apparaît pas encore sur Google » : bien souvent, c’est parce que le robot n’est pas encore passé, ou n’a pas pu accéder à la page.

Cas d'usage typiques

– Diagnostiquer : une page publiée n’apparaît jamais dans Google ? / Vérifier que les robots peuvent bien y accéder.
– Configurer : un site en cours de construction doit rester invisible ? / Bloquer les robots via un fichier technique dédié.
– Expliquer : un client demande pourquoi son site met du temps à apparaître ? / Rappeler que les robots doivent d’abord explorer les pages.
– Prioriser : un gros site a des milliers de pages ? / Orienter les robots vers les pages importantes en priorité.
– Surveiller : de nouveaux robots liés à l’intelligence artificielle visitent le site ? / Décider s’il faut les autoriser ou les bloquer.

Ce que tu sauras faire

Expliquer le rôle d'un robot d'exploration, diagnostiquer un problème d'accès à un site et décider quelles pages autoriser ou bloquer à son passage.

Mises en situation

Situation 1 : une boutique en ligne invisible sur Google

Contexte : Une petite boutique de vêtements vient de mettre en ligne son site, mais trois semaines après le lancement, aucune page n’apparaît dans les résultats de recherche.

Application : La gérante vérifie dans un outil gratuit de Google si les robots ont bien visité le site, et découvre qu’un réglage bloque l’accès à toutes les pages par erreur.

Résultat attendu : Une fois le blocage corrigé, les robots peuvent explorer le site normalement et les pages commencent à apparaître dans les résultats en quelques semaines.

Situation 2 : un site associatif avec des pages sensibles

Contexte : Une association gère un site avec un espace réservé aux adhérents contenant des documents internes.

Application : Le webmestre bénévole configure le site pour empêcher les robots des moteurs de recherche d’explorer et d’indexer cet espace privé.

Résultat attendu : Les documents internes ne remontent jamais dans les résultats de recherche publics, ce qui protège la confidentialité des adhérents.

Situation 3 : un cabinet médical face aux robots d’intelligence artificielle

Contexte : Un cabinet médical remarque dans les journaux de son hébergeur la visite régulière de robots liés à des assistants d’intelligence artificielle.

Application : Le cabinet décide, avec son prestataire web, s’il souhaite autoriser ces robots à lire son contenu pour être cité dans les réponses des assistants, ou au contraire les bloquer.

Résultat attendu : Le cabinet fait un choix éclairé sur sa visibilité, plutôt que de subir la situation sans la comprendre.

Application guidée : lire un rapport d’exploration

Contexte : Un site de 200 pages affiche dans son outil d’analyse que seulement 120 pages ont été explorées par les robots au cours du dernier mois.

Question : Que peut-on en déduire et quelles pistes explorer ?

Résultat attendu : On en déduit que 80 pages n’ont pas été visitées récemment : il faut vérifier si elles sont bien reliées par des liens internes, si elles ne sont pas bloquées par erreur, et si elles présentent un intérêt suffisant pour être explorées en priorité.

Application guidée : distinguer exploration et indexation

Contexte : Un client s’étonne : « Le robot a visité ma page hier, pourquoi n’apparaît-elle toujours pas dans Google aujourd’hui ? »

Question : Comment expliquer cette situation simplement ?

Résultat attendu : On explique que le passage du robot (l’exploration) n’est qu’une étape : le moteur doit ensuite analyser et décider d’enregistrer la page dans son index, ce qui peut prendre plusieurs jours, voire plusieurs semaines.

Pour bien le retenir

L'analogie

Un robot d’exploration, c’est comme un facteur qui parcourt chaque rue d’une ville pour relever les adresses des maisons et transmettre la liste à un annuaire. Le facteur ne juge pas si la maison est belle : il note juste qu’elle existe, où elle se trouve, et à quelles autres rues elle est reliée. C’est ensuite l’annuaire (le moteur de recherche) qui décide si l’adresse mérite d’être publiée.

« Le robot explore, il ne décide pas : c'est le facteur du web, pas son juge. »

Pièges à éviter

À ne pas confondre avec

Une confusion fréquente consiste à croire qu'un robot qui a visité une page l'a automatiquement indexée. Ce sont deux étapes distinctes : l'exploration (le passage du robot) précède toujours l'indexation (l'enregistrement dans la base de données), et rien ne garantit que la seconde suivra la première.

Autre piège : penser que bloquer un robot suffit à retirer une page déjà indexée des résultats de recherche. En réalité, ce blocage empêche seulement une future exploration ; pour retirer une page déjà connue, il faut utiliser d'autres outils spécifiques.

Enfin, il ne faut pas confondre tous les robots entre eux : un robot de moteur de recherche, un robot d'assistant d'intelligence artificielle et un robot malveillant qui aspire du contenu pour le copier n'ont ni les mêmes objectifs, ni les mêmes règles à leur appliquer.

Évolution historique

Apparition : Depuis les années 1990

Quels changements depuis l’arrivée de l’IA ?

Avant

Longtemps, les seuls robots qui comptaient vraiment étaient ceux des moteurs de recherche classiques : Googlebot, Bingbot… Leur objectif unique était d’alimenter un index de pages pour répondre à des recherches par mots-clés.

Aujourd’hui

Avec la montée des assistants conversationnels comme ChatGPT, Claude ou Perplexity, de nouveaux robots sont apparus pour explorer le web et nourrir leurs réponses. Les entreprises doivent désormais réfléchir à une question nouvelle : autoriser ou non ces robots à lire leur contenu, sachant que cela peut apporter de la visibilité dans les réponses des assistants, mais sans garantir un visiteur sur le site.

Évolution historique

Années 1990 : les premiers moteurs de recherche mettent au point des robots simples pour parcourir les premières pages du web naissant.

Années 2000 : avec l’explosion du nombre de sites, les robots deviennent plus sophistiqués, capables de prioriser leur exploration selon l’importance perçue des pages.

Années 2010 : les robots apprennent à mieux lire des pages plus complexes, notamment celles construites avec des technologies qui affichent le contenu de façon dynamique.

Années 2020 : de nouveaux robots liés à l’intelligence artificielle apparaissent aux côtés des robots historiques des moteurs de recherche, avec des règles d’accès encore en construction.