Voyez votre page comme la voit un robot d'IA : on la demande avec le vrai user-agent de GPTBot, ClaudeBot ou PerplexityBot, sans exécuter de JavaScript, et on vous montre ce qui arrive réellement.
Chaque robot est interrogé séparément, avec un délai de 10 secondes, comme en conditions réelles.
Googlebot charge la page, puis l'exécute dans un navigateur pour voir le contenu généré. Les robots qui alimentent ChatGPT, Claude et Perplexity s'arrêtent au HTML envoyé par le serveur. Selon l'analyse de Vercel portant sur un milliard de requêtes de robots, aucun des principaux robots d'IA testés n'exécute le JavaScript.
Un site qui se positionne bien sur Google peut donc être vide pour une IA. Ce test reproduit leur comportement : vrai user-agent, aucun script exécuté, délai court, et le même fichier robots.txt que celui qu'ils consultent.
Limite : nos requêtes partent de nos serveurs, pas des adresses IP officielles d'OpenAI ou d'Anthropic. Un pare-feu qui vérifie l'origine des robots peut donc nous refuser là où il laisserait passer le vrai robot, ou l'inverse.
Rendu serveur, pré-rendu, génération statique : la bonne correction dépend de votre technologie. On regarde votre site et on vous dit laquelle appliquer, page par page.
Nous contacter →Vous ne trouvez pas votre réponse ? On répond sous 24 h ouvrées.
Poser une question →Les robots qui alimentent ChatGPT (GPTBot, OAI-SearchBot, ChatGPT-User), Claude (ClaudeBot) et Perplexity (PerplexityBot) lisent le HTML envoyé par le serveur sans l'exécuter. Ils peuvent télécharger des fichiers JavaScript, mais ne les lancent pas pour construire la page. Googlebot fait exception : il exécute le JavaScript dans un second temps, ce qui explique qu'un site bien positionné sur Google puisse rester invisible pour une IA.
Il demande votre page avec le user-agent officiel du robot choisi, sans exécuter aucun script, avec un délai maximal de 10 secondes, et lit le robots.txt qui s'applique à ce robot. L'aperçu affiche le HTML reçu avec les scripts désactivés, et l'onglet Texte lu montre le contenu tel qu'il est extrait.
Parce que tout ce qui dépend du JavaScript a disparu : carrousels, menus, contenus chargés après coup, parfois la page entière. Un robot ne regarde pas la mise en page, il lit le texte. Si le texte est présent dans l'aperçu ou dans l'onglet Texte lu, il est lisible, même si l'affichage est cassé.
Certains sites envoient leur contenu sous forme de données JavaScript (souvent pour l'hydratation d'un framework) plutôt qu'en HTML. Le texte est techniquement dans la page, mais dans du code. Un robot qui ne l'exécute pas ne le traite pas comme le contenu de la page.
Faire produire le HTML par le serveur : rendu serveur (SSR) avec Next.js, Nuxt ou Angular Universal, génération statique au moment du build, ou pré-rendu des pages importantes. Le bon choix dépend de la fréquence de mise à jour de vos contenus.
Le refus vient alors du serveur ou du pare-feu, pas du robots.txt. Cloudflare et d'autres CDN proposent des réglages qui bloquent les robots d'IA ou leur imposent une page de vérification qu'ils ne savent pas passer. Nos requêtes partent de nos serveurs : un pare-feu qui vérifie l'adresse IP des robots peut nous refuser et laisser passer le vrai robot. Vérifiez vos journaux serveur pour confirmer.