robots.txt décide, llms.txt suggère
llms.txt n'est pas le robots.txt de l'IA. L'un gère la permission de crawl. L'autre est une liste de lecture. Commencez par robots et un graphe public propre.
On voit partout des posts qui vendent llms.txt comme « le robots.txt de l'IA ».
C'est faux. Et ça fait perdre des heures sur le mauvais fichier.
Ce que fait réellement chaque fichier
robots.txt répond à une seule question : avez-vous le droit de crawler ceci ?
GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Les gros publient qu'ils le lisent. Même idée que Googlebot à la fin des années 90. RFC 9309. Ennuyeux. Toujours le vrai levier.
llms.txt répond à une autre question : si vous êtes déjà là, que lire en premier ?
C'est une liste de lecture en Markdown. Pas de Allow. Pas de Disallow. Des advocates Google Search ont dit clairement que Search ne l'utilise pas comme signal de ranking ou de crawl. Un an d'études de logs dit la même chose : la plupart des crawlers IA grand public le récupèrent à peine.
Où llms.txt sert vraiment
Les sites de docs. Stripe, Vercel, Anthropic en publient un pour que les agents de code aient une carte claire. C'est un vrai job. Ce n'est pas du « AI SEO ».
Ce qu'on a livré sur MeetMila
MeetMila est notre application agentique pour chirurgiens. L'ordre de lancement :
robots.txt— pages publiques ouvertes, admin / login / API fermés, agents IA listés nommémentsitemap.xml— pour la découvertellms.txt— un brief produit court pour les assistants, pas un pari ranking
Si votre objectif est la citation
Pour être cité dans ChatGPT ou les AI Overviews, commencez par les règles robots par bot et un graphe public propre. Traitez llms.txt comme une politesse optionnelle ensuite.
J'ai failli inverser cet ordre. Heureusement non.
Changez mon avis avec un log de crawler, pas une slide vendeur.
