在网站运营和 SEO 优化中,robots 协议是一个绕不开的基础概念。它通过网站根目录下的 robots.txt 文件,告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避开。正确配置 robots 文件,既能保护后台、隐私和重复内容不被收录,也能避免爬虫浪费预算,从而提升重要页面的抓取效率。
robots.txt 是纯文本文件,必须放在网站根目录下,文件名全小写。常见指令包括:User-agent 指定生效的爬虫,Disallow 禁止抓取某个路径,Allow 允许抓取某个路径,Sitemap 声明站点地图地址。多条规则按最长匹配优先,Allow 和 Disallow 同时匹配时通常以更具体的路径为准。
很多站点误以为在 robots.txt 中屏蔽页面就等于从搜索结果中删除,这是错误的。robots 只阻止抓取,不阻止已收录页面的展示。如果希望页面不被收录,应配合 noindex 元标签或 HTTP 响应头使用,并且要确保爬虫能够抓取到该页面,否则 noindex 无法生效。
此外,robots.txt 中的 Disallow 规则一旦写错,可能误伤整站。例如 Disallow: / 会阻止所有爬虫抓取全站,导致页面大量掉出索引。上线前建议使用搜索引擎官方工具进行测试,并定期检查 robots 文件是否被意外修改。
robots 协议是网站与爬虫沟通的第一道门。合理使用 robots.txt,可以优化抓取预算、保护敏感目录;但要记住它不能替代 noindex,也不能保证页面不被收录。结合站点地图、规范化标签和抓取测试,才能让 robots 配置真正服务于 SEO 目标。