Le fichier robots.txt indique aux robots quelles pages ils peuvent lire. Si vous voulez être cité par les assistants IA, autorisez leurs robots d'exploration et de recherche. Bloquer l'entraînement des modèles est un choix distinct. Vérifiez le fichier après chaque refonte : un blocage par erreur rend le site invisible.
Le fichier robots.txt se trouve à la racine du site (`/robots.txt`). Il fonctionne comme un règlement d'accès pour les robots, expliqué par Google. Avec l'arrivée des assistants IA, il décide aussi de votre présence dans leurs réponses.
Quels types de robots IA existent ?
Les éditeurs distinguent plusieurs usages. Les noms exacts évoluent, vérifiez les pages officielles, par exemple celle d'OpenAI.
| Usage | Exemples de robots | Si autorisé |
|---|---|---|
| Entraînement des modèles | GPTBot, ClaudeBot | Votre contenu peut servir à entraîner |
| Index de recherche | OAI-SearchBot, PerplexityBot | Vos pages peuvent apparaître dans la recherche de l'assistant |
| Requête d'un utilisateur | ChatGPT-User, Perplexity-User | Un assistant lit votre page pendant une conversation |
| Fonctions IA de Google | Google-Extended | Autorise l'usage de vos contenus pour certains produits IA de Google |
Que choisir pour une PME qui veut être trouvée ?
Si l'objectif est la visibilité, autorisez les robots de recherche et les robots déclenchés par l'utilisateur. Pour l'entraînement des modèles, c'est un arbitrage : certains éditeurs bloquent pour protéger leurs contenus, d'autres autorisent pour maximiser la présence. Un site vitrine qui veut être connu autorise généralement.
Comment écrire un fichier prudent ?
Un exemple simple qui autorise tout et déclare le plan du site :
``` User-agent: * Allow: /
Sitemap: https://votre-site.fr/sitemap.xml ```
Pour bloquer un robot précis, ajoutez un bloc `User-agent: NomDuRobot` suivi de `Disallow: /`. Ne bloquez jamais Googlebot par erreur.
Quelles erreurs voit-on le plus souvent ?
- `Disallow: /` laissé après la préproduction.
- Blocage de dossiers contenant les pages importantes.
- Règles contradictoires entre blocs.
- Plan du site absent.
- Blocage par le pare-feu ou l'hébergeur, invisible dans le fichier.
Comment tester ?
- Ouvrez `votre-site.fr/robots.txt` dans un navigateur.
- Utilisez le rapport de Search Console, décrit dans notre guide Search Console.
- Consultez les journaux du serveur pour voir si les robots passent.
Un fichier correct ne garantit pas une citation, mais un fichier qui bloque la garantit de ne pas avoir lieu.
Et le fichier llms.txt ?
Il s'agit d'une proposition de fichier d'aide pour les modèles. Son utilité réelle est discutée, voir notre article llms.txt, utile ou non.
Quand revoir le fichier ?
À chaque refonte, changement d'hébergeur ou lancement d'un nouveau site. Notre audit inclut ce contrôle dans le bloc indexation.
Un coup de main pour votre projet ?
On regarde votre situation ensemble pendant 15 minutes, gratuitement et sans engagement.