Voici NONO le robots.txt checker gratuit Testez vos robots.txt pour tous +30 bots IA, Google et les autres URL du site Le fichier robots.txt sera détecté automatiquement URL(s) à tester Une URL par ligne (bulk test possible) User-Agent Googlebot Googlebot-Image Googlebot-News Googlebot-Video Bingbot Slurp (Yahoo) DuckDuckBot Baiduspider YandexBot Sogou Exabot facebot (Facebook) ia_archiver (Archive.org) Twitterbot LinkedInBot WhatsApp TelegramBot GPTBot (ChatGPT Web) ChatGPT-User CCBot (Common Crawl) anthropic-ai (Claude) Claude-Web Google-Extended (Gemini) PerplexityBot Applebot-Extended (Apple Intelligence) Bytespider (ByteDance/TikTok) cohere-ai Diffbot FacebookBot Omgilibot Applebot SemrushBot AhrefsBot MJ12bot DotBot BingPreview * (Tous les bots) Custom Simulation multi-bots en parallèle Simulation des crawlers IA Afficher les sitemaps détectés Tester Analyse du robots.txt en cours... Fichier robots.txt analysé 🔄 Sitemaps détectés Exporter JSON Exporter CSV Résultats des tests Tous ✅ Autorisées ❌ Bloquées ⚠️ Warnings Statut URL User-Agent Règle appliquée Explication Warnings