Générateur Robots.txt

Générateur Robots.txt - Créez un fichier propre et SEO-friendly

Configurez vos directives d'exploration en quelques secondes, bloquez les zones sensibles et gardez vos ressources accessibles aux moteurs.

Qu'est-ce que robots.txt ?

Robots.txt est un fichier texte placé à la racine du site qui indique aux robots quelle partie de votre contenu ils peuvent explorer. Il suit le Robots Exclusion Protocol et sert à : limiter la charge serveur, éviter l'indexation de pages dupliquées, empêcher l'accès aux zones privées ou de test et gérer le crawl budget.

Comment fonctionne robots.txt ?

Les robots visitent d'abord https://votresite.com/robots.txt. Le fichier contient des directives :\n- `User-agent` : bot ciblé (`*` = tous)\n- `Disallow` : chemins à ne pas crawler\n- `Allow` : exceptions explicitement autorisées\n- `Sitemap` : URL du sitemap XML\n- `Crawl-delay` : délai entre deux requêtes\nLes moteurs majeurs respectent ces règles, mais robots.txt n'arrête pas les bots malveillants.

Que faut-il bloquer ?

Bloquez généralement :\n- Zones d'administration (/admin/, /wp-admin/, /login/)\n- Dossiers techniques (/cgi-bin/, /tmp/, /includes/)\n- Pages filtrées, recherches internes, versions imprimables\n- Données privées (/private/, /confidential/)\nNe bloquez jamais vos CSS/JS critiques, vos pages produits ou votre sitemap.

Quelle différence entre Allow et Disallow ?

`Disallow` interdit un chemin. `Allow` crée une exception dans une zone bloquée. Exemple :\n```
User-agent: *
Disallow: /private/
Allow: /private/blog/
```\nCette règle bloque /private/ mais autorise /private/blog/. Les chemins spécifiques priment sur les règles générales.

Dois-je ajouter mon sitemap et un crawl-delay ?

Oui, ajoutez toujours `Sitemap: https://votresite.com/sitemap.xml` pour guider les robots. Le crawl-delay est utile uniquement si votre serveur est saturé : commencez par 1-5 s et évitez les valeurs élevées qui ralentissent l'indexation. Google ignore crawl-delay (à ajuster via Search Console).

Comment tester et éviter les erreurs ?

Utilisez la Search Console Google, Bing Webmaster Tools ou l'outil de test intégré pour vérifier chaque URL et user-agent. Points de vigilance :\n- Ne pas bloquer / ni les fichiers CSS/JS\n- Robots.txt doit être à la racine\n- Documentez vos règles et supprimez les anciennes directives de préproduction\n- Vérifiez les 404 et statistiques de crawl après chaque mise à jour