robots协议是什么?robots.txt 的写法与 SEO 收录规则详解

📍 WDQWDWQD987AAAAA:216.73.216.224
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f27e952f601d.html
📄

在网站运营和 SEO 优化中,robots 协议是一个绕不开的基础概念。它通过网站根目录下的 robots.txt 文件,告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避开。正确配置 robots 文件,既能保护后台、隐私和重复内容不被收录,也能避免爬虫浪费预算,从而提升重要页面的抓取效率。

robots.txt 的基本语法

robots.txt 是纯文本文件,必须放在网站根目录下,文件名全小写。常见指令包括:User-agent 指定生效的爬虫,Disallow 禁止抓取某个路径,Allow 允许抓取某个路径,Sitemap 声明站点地图地址。多条规则按最长匹配优先,Allow 和 Disallow 同时匹配时通常以更具体的路径为准。

常见误区与 SEO 建议

很多站点误以为在 robots.txt 中屏蔽页面就等于从搜索结果中删除,这是错误的。robots 只阻止抓取,不阻止已收录页面的展示。如果希望页面不被收录,应配合 noindex 元标签或 HTTP 响应头使用,并且要确保爬虫能够抓取到该页面,否则 noindex 无法生效。

此外,robots.txt 中的 Disallow 规则一旦写错,可能误伤整站。例如 Disallow: / 会阻止所有爬虫抓取全站,导致页面大量掉出索引。上线前建议使用搜索引擎官方工具进行测试,并定期检查 robots 文件是否被意外修改。

总结

robots 协议是网站与爬虫沟通的第一道门。合理使用 robots.txt,可以优化抓取预算、保护敏感目录;但要记住它不能替代 noindex,也不能保证页面不被收录。结合站点地图、规范化标签和抓取测试,才能让 robots 配置真正服务于 SEO 目标。

图1 图2

nginx