Qu’est-ce qu’un fichier Robots.txt : Comment le créer et comment le configurer pour le SEO?

Le fichier robots.txt, aussi connu sous le nom de protocole d’exclusion des robots, est un fichier particulièrement intéressant. Il permet de fournir des directives aux robots des moteurs de recherche quant à l’exploration (crawling) des pages de votre site web.

Contrairement à ce que l’on pourrait penser, il est très simple de créer et de paramétrer un fichier robots.txt. Pas besoin d’avoir de connaissances spécifiques en développement web, si c’est la question que vous vous posez. La seule chose dont vous aurez besoin, c’est d’un peu de temps devant vous. Et croyez-nous, le résultat vaut largement le détour! Dans cet article, les experts SEO de notre agence Web montréalaise vous expliquent avec précision pourquoi ce fichier est important pour votre SEO et nous allons vous montrer comment le configurer de manière optimale.

Les points à retenir

• Le fichier robots.txt est un fichier texte placé à la racine de votre domaine (https://monsite.com/robots.txt) qui donne des instructions aux crawlers des moteurs de recherche.
• Il contrôle le crawl budget en indiquant aux robots quelles pages explorer ou ignorer — et depuis 2025, aussi quels bots IA autoriser ou bloquer.
• Les directives clés sont : User-agent (cibler un robot), Disallow (bloquer), Allow (autoriser une exception), Sitemap (indiquer le plan du site).
• Un robots.txt mal configuré peut bloquer des pages stratégiques et provoquer une chute des positions. Testez-le régulièrement dans Google Search Console.
• En 2026, votre fichier doit aussi gérer les bots d’IA (GPTBot, ClaudeBot, OAI-SearchBot) : distincts des crawlers de recherche, ils ont des rôles différents.

1. Qu'est-ce que le fichier robots.txt?

Dans le monde du Web, les robots consistent majoritairement en des logiciels qui visitent les sites Web. Les exemples les plus communs sont, sans aucun doute, les robots des moteurs de recherche. Ces robots utilisés par les moteurs de recherche comme Google, Bing, Yahoo, Baidu (etc.) ont pour rôle d'explorer l'ensemble des contenus des sites Internet et de les indexer par la suite.

Cette indexation permet d'apparaître, plus ou moins favorablement, dans les résultats de recherche en fonction de requêtes spécifiques. N'hésitez pas à consulter notre article sur les problèmes les plus courants d'indexation si vous en rencontrez.

Le fichier robots.txt vous permet d'influencer cette exploration. Avant d'explorer un site Web, les robots d'exploration vérifient toujours le fichier robots.txt à la recherche d'instructions. Si votre site ne dispose pas de ce fichier ou que celui-ci est mal configuré, les robots sont censés crawler l'entièreté de votre site Web.

Un fichier robots.txt mal configuré peut accidentellement bloquer des pages critiques, causant une chute de votre classement. À l'inverse, un fichier bien structuré est votre premier levier de SEO technique. Depuis 2025, 94% des 12 millions de sites analysés par HTTP Archive disposent d'un fichier robots.txt, ce qui en fait l'un des fichiers techniques les plus universellement déployés sur le Web.

2. Pourquoi le fichier robots.txt est-il important pour votre SEO?

Deux raisons principales expliquent l'importance du fichier robots.txt concernant votre SEO. Ces raisons sont directement liées à l'optimisation des ressources serveur et de l'exploration.

2.1. Indiquez à Google quelles sont vos pages importantes

Il vous permet de choisir les ressources de votre site que vous souhaitez voir explorées. Tout ce que vous jugez sans intérêt peut facilement être écarté du processus d'exploration des robots, afin qu'ils se concentrent sur l'essentiel : vos pages de services, articles de blogue, pages produits.

2.2. Contrôlez le crawl budget

Grâce à celui-ci, vous pouvez contrôler la quantité de contenu explorée par les moteurs de recherche. Sans ce précieux fichier, ceux-ci sont censés explorer la totalité de votre site. Et si vous avez énormément de pages ou une structure technique complexe, il est possible que le temps de crawl que Google accorde à votre site soit trop faible. Le robot pourrait alors passer son temps à explorer les pages les moins importantes de votre site.

L'optimisation du crawl budget est vitale pour les sites de grande taille (e-commerce, médias, plateformes). Selon Google Search Central (décembre 2025), le bon usage du robots.txt consiste à bloquer définitivement les pages sans valeur, et non à redistribuer temporairement le budget de crawl.

2.3. En bref, aidez Google à mieux comprendre votre site Web

Il s'agit donc de faciliter l'exploration de votre site web en éliminant les URLs à faible valeur ajoutée afin d'optimiser le crawl budget (limites en termes de nombre de pages explorées sur un site web) des robots.

En 2026, selon Google (podcast Search Off the Record, février 2026), 85% des problèmes de crawl sévères proviennent de la navigation à facettes, un filtre de tri ou de catégorie sans règle robots.txt peut générer des milliers d'URLs parasites.

Voici quelques exemples de ce que Google considère comme URLs à faible valeur ajoutée:

• Celle générées par la navigation à facettes (affiner une recherche à l’aide filtre)

• Celles générées par les identifiants de session. Par exemple, la connexion à son compte sur une boutique en ligne.
  

En éliminant ces URLs, vous vous assurerez que vos pages ayant réellement de la valeur seront explorées et indexées. De ce fait, vous augmenterez grandement vos chances d’être bien référencé.

Maintenant que vous comprenez un peu mieux l’importance du fichier robots.txt pour votre SEO, nous pouvons passer à l’étape suivante, à savoir sa création ainsi que sa configuration.

3. Comment créez et configurez votre fichier robots.txt

3.1. Comment créez un fichier robots.txt

Pour commencer, il faut créer votre fichier robots.txt. Pour cela, pas besoin de programme spécifique, vous pouvez utiliser un éditeur de texte basique : Bloc-notes si vous êtes sous Windows ou TextEdit si vous êtes sur macOS. Des éditeurs plus avancés comme VS Code, Notepad++ ou Sublime Text offrent une coloration syntaxique utile pour les fichiers de configuration.

Veillez à bien le nommer «robots.txt», n'oubliez pas le «s» à la fin, sinon, il ne fonctionnera pas. Assurez-vous qu'il soit encodé en UTF-8 pour éviter tout problème de caractères spéciaux.

3.2. Placez votre fichier robots.txt à la racine du site

Ensuite, il faut que vous le placiez à la racine de votre site. Concrètement, si votre site est accessible via l'adresse https://monsite.com, le fichier robots.txt se trouvera à l'adresse suivante https://monsite.com/robots.txt.

Pour ce faire, deux solutions s'offrent à vous : vous connecter à l'hébergeur de votre site internet puis accéder au gestionnaire de fichiers dédié, ou utiliser un client FTP («File Transfer Protocol»), à l'instar de FileZilla. Le fichier doit être placé dans le répertoire racine du domaine pour que les crawlers le trouvent.

3.3. Les règles du fichier robots.txt

Votre fichier robots.txt placé, il ne vous reste plus qu'à le remplir. Deux règles principales régissent ce fichier, et il est important de les comprendre avant toute configuration :

Voici l'ensemble des directives disponibles dans un fichier robots.txt :

• La directive «User-agent» désigne les robots des moteurs de recherche qui doivent suivre les directives énoncées dans le fichier.

• La directive «Disallow» est utilisée pour indiquer qu'un répertoire ou une page du site ne doit pas être explorée par le «User-agent». Sans cette directive, le robot explore normalement votre site web.

Cette règle est particulièrement intéressante pour votre SEO, puisque vous pouvez demander aux robots de ne pas explorer vos pages à faible valeur ajoutée. Par exemple, interdire l'accès à votre page de connexion :

Ainsi, les robots ne perdront pas leur temps à explorer cette page et pourront se concentrer sur le plus important.

Continuons la présentation des règles de base. Il faut savoir qu’il existe des signes génériques qui sont associés aux directives :

• L’astérisque * est ce qu’on appelle une « wildcard ». Dans le cas présent, elle signifie que le fichier robots.txt peut être exploré par l’ensemble des robots (user-agent).
• On voit sur la deuxième ligne qu’il est interdit (disallow) à tous les robots d’accéder à l’ensemble des répertoires et des pages du site web. Le symbole / est utilisé pour signaler cela.

Les bases étant établies, nous allons à présent aborder les règles additionnelles.

3.4. Les règles additionnelles concernant le fichier robots.txt

En plus de User-agent et Disallow, des directives additionnelles permettent d'affiner votre configuration :

3.4.1. La directive Allow

La directive «Allow» s'oppose à la directive «Disallow». Elle n'est supportée que par Google et Bing. Elle est utilisée pour dégager des exceptions précises dans un répertoire globalement bloqué. Par exemple, si vous bloquez le répertoire /media mais souhaitez qu'un fichier spécifique reste accessible :

Dans cet exemple, l’ensemble des robots devrait éviter le répertoire /media, sauf le fichier formulaire.pdf. Cette directive permet de dégager des exceptions précises dans un répertoire globalement bloqué.

3.4.2. Empêcher l’accès à un moteur de recherche précis

Vous pouvez bloquer l'accès à un moteur de recherche spécifique, comme Bingbot, tout en autorisant les autres :

Vous pouvez créer différentes règles pour différents robots. Voici une liste des user-agents les plus connus :

3.4.3. Le signe générique $

En plus des signes génériques * et /, il est possible de marquer la fin d'une URL à l'aide du signe $. Par exemple, bloquer toutes les URLs finissant par .php :

Concrètement, cet exemple signifie que l’ensemble des robots des moteurs de recherche devraient éviter les URLs qui finissent par .php.

Note : les URLs avec des paramètres du type https://monsite.fr/page.php?lang=fr restent accessibles car l'URL ne se finit pas directement après .php. Pour bloquer tous les fichiers .php, utilisez Disallow: /*.php.

3.4.4. Le sitemap

Ce n'est pas obligatoire, mais vous pouvez aussi utiliser votre fichier robots.txt afin de mener les moteurs de recherche à votre sitemap XML. La plupart des moteurs de recherche le supportent (Google, Bing, Yahoo). Ainsi, ils comprendront mieux l'arborescence de votre site web.

3.4.5. Commentaires

Les commentaires ne sont pas pris en compte par les robots. Ils permettent de clarifier votre fichier robots.txt, surtout si celui-ci comporte un grand nombre de directives. Toute ligne de commentaire doit être précédée du symbole #.

4. Robots.txt pour WordPress : directives spécifiques

WordPress génère automatiquement un fichier robots.txt virtuel, mais celui-ci est souvent insuffisant pour une stratégie SEO avancée. Voici les directives spécifiques à WordPress recommandées par My Little Big Web :

• Ne pas tout mettre sur une même ligne : veillez à ce que chacune de vos directives soit sur une ligne différente. Plusieurs directives sur une même ligne provoqueront des problèmes et des incompréhensions pour les robots.

Si vous utilisez un plugin SEO comme Rank Math, Yoast SEO ou SEOPress, vous pouvez gérer votre fichier robots.txt directement depuis l'interface WordPress, sans passer par FTP. La plupart de ces plugins proposent un éditeur dédié dans leurs paramètres avancés.

5. Robots.txt et bots d'intelligence artificielle : le nouveau défi 2026

Depuis 2024, votre fichier robots.txt doit aussi gérer une nouvelle famille de crawlers : les robots des moteurs de recherche propulsés par l'IA (ChatGPT, Claude, Perplexity, Gemini) et les bots d'entraînement des modèles de langage. Selon Cloudflare, le trafic des crawlers IA et de recherche a augmenté de 18% entre mai 2024 et mai 2025, avec GPTBot (OpenAI) enregistrant une hausse de +305% à lui seul.

5.1 La distinction entre bots d'entraînement vs bots de recherche IA

En 2026, il est essentiel de distinguer deux types de bots IA dans votre robots.txt :

• Bots d'entraînement : crawlent votre contenu pour enrichir les données d'entraînement des modèles IA. Les bloquer protège votre propriété intellectuelle, sans affecter votre visibilité dans les moteurs de recherche IA.
• Bots de recherche IA : indexent votre contenu pour répondre aux requêtes des utilisateurs dans ChatGPT Search, Claude Search, Perplexity, etc. Les bloquer vous exclut des réponses générées par ces moteurs.

5.2 Configurer son robots.txt pour les bots IA

Pour la majorité des entreprises voulant rester visibles dans les moteurs de recherche IA tout en protégeant leur contenu de l'entraînement, voici la configuration recommandée :

Note importante : 13,26% des requêtes de bots IA contournaient les directives robots.txt au deuxième trimestre 2025 selon Cloudflare. Le robots.txt reste une demande de bonne conduite, pas un verrou technique, pour un blocage réel, combinez-le avec des règles au niveau de votre CDN (Cloudflare AI Crawl Control, par exemple).

6. Quelques spécificités à retenir sur le fichier robots.txt

Le fichier robots.txt, aussi simple soit-il, possède un certain nombre de spécificités qu'il convient de connaître afin d'éviter toute erreur qui pourrait nuire à votre site.

Voici les erreurs les plus courantes et les bonnes pratiques associées :

7. Vérifiez si votre fichier robots.txt fonctionne

Maintenant que votre fichier est configuré, il vous faut le tester pour savoir si celui-ci est valide. Plusieurs outils sont à votre disposition.

7.1 Google Search Console

Google Search Console propose plusieurs fonctionnalités pour vérifier votre fichier robots.txt. Pour y accéder, connectez-vous à votre compte GSC.

Dans l'onglet «Exploration», accédez à l'outil de test du fichier robots.txt. Remplissez le champ avec les données de votre fichier, puis cliquez sur tester. Vous pouvez voir si votre fichier est compatible avec les différents robots.

Si le bouton «Tester» se change en «Autorisée», votre fichier est valide. Vous pouvez aussi utiliser l'outil d'inspection d'URL de GSC pour vérifier si une URL spécifique est accessible ou bloquée par votre fichier robots.txt.

7.2 Outils SEO complémentaires

Des outils comme Screaming Frog, SEMrush ou Ahrefs permettent une analyse plus avancée : détection d'erreurs de configuration, simulation de crawl, identification des URLs importantes bloquées par erreur. Dans notre pratique chez My Little Big Web, nous utilisons Screaming Frog pour chaque audit technique afin de cartographier avec précision les directives en place.

Suivez vos résultats suite à l'optimisation de votre fichier robots.txt

Vous savez à présent comment créer et configurer un fichier robots.txt efficace. En gérant intelligemment l'exploration de votre site, vous allez grandement aider les robots des moteurs de recherche à comprendre votre structure et à se concentrer sur vos pages les plus pertinentes. Ceux-ci pourront explorer plus intelligemment votre site Web et afficher dans les résultats de recherche vos pages les plus pertinentes.

En 2026, cette maîtrise du robots.txt dépasse le simple SEO traditionnel : c'est aussi un outil stratégique de gestion de votre visibilité dans les moteurs de recherche alimentés par l'intelligence artificielle. Chaque ligne de votre fichier peut ouvrir ou fermer une porte à ChatGPT Search, Claude ou Perplexity.

Si toutefois, vous avez besoin d’aide pour mettre en place votre fichier robots.txt, n’hésitez pas à contacter notre agence SEO ! Nous pouvons également réaliser un audit SEO pour votre site web afin de trouver des axes d'améliorations.

Consultez nos autres articles SEO.

FAQ : Fichier robots.txt

Eugénie Delhaye

Cofondatrice et Spécialiste Marketing Internet et Référencement Naturel (SEO) Ma maîtrise des techniques de référencement, combinée à une analyse minutieuse des tendances du marché, me permet de créer des stratégies SEO sur mesure, efficaces et durables.