除了 robots.txt，网站根目录下通常还有一个给机器看的文件叫 sitemap.xml（网站地图）。

可能会有人问，既然我已经有了 sitemap，为什么还需要 llms.txt？

虽然这两个文件都是给“机器”看的，但它们的受众和根本目的完全不同。

sitemap.xml是传统搜索引擎的“城市详细地图”，主要受众有谷歌（Googlebot）、百度（Baiduspider）等传统搜索引擎爬虫。它密密麻麻地罗列了你网站里的每一个网页链接（URL）。如果你有一个电商网站，里面有 10,000 个商品页，sitemap 会把这 10,000 个链接全部列出来。它希望搜索引擎的爬虫顺着这些链接，把网站的每一个角落都爬一遍，生怕漏掉任何一个页面。

llms.txt是大语言模型的“知识点总结”，主要受众有ChatGPT、Claude、DeepSeek等 AI 助手和智能体（Agents）。大模型不需要像传统搜索引擎那样收录你的每一个细枝末节的网页，大模型需要的是“理解”你的网站。

llms.txt 不会罗列几万个链接，而是高度概括。它会告诉 AI：“这是我们公司的核心介绍（链接 A），这是我们的三大主力产品（链接 B），这是我们的 API 文档入口（链接 C）。”

sitemap.xml 解决的是 “我的网站里都有什么页面” 的问题，服务于传统的 SEO（搜索引擎优化）。

llms.txt 解决的是 “我的网站到底在讲什么核心知识” 的问题，服务于新兴的 GEO（AI 搜索优化）。

两者在现代网站中缺一不可，并行运作。