robots.txt 完全指南:抓取规则与 SEO 优化要点
📍 WDQWDWQD987AAAAA:216.73.216.224
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d87dffc4ca56.html
📄
robots.txt 是网站根目录下的纯文本协议文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它并非强制安全措施,但合理配置能有效引导爬虫预算,避免无效抓取和重复内容问题。
robots.txt 的基本语法
文件由若干条记录组成,每条记录以 User-agent 开头,后接 Allow 或 Disallow 规则。常见写法包括:
- User-agent: *:匹配所有爬虫。
- Disallow: /admin/:禁止抓取 admin 目录。
- Allow: /public/:在整体禁止下开放特定路径。
- Sitemap: 声明站点地图地址,便于爬虫发现内容。
常见配置误区
很多站点误用 Disallow 屏蔽 CSS、JS 资源,导致搜索引擎无法正确渲染页面,影响收录与排名。此外,使用 robots.txt 阻止敏感页面并不安全,真正需要保护的内容应通过登录验证或 noindex 处理。规则匹配遵循最长路径优先,通配符和结尾美元符号需谨慎使用。
SEO 优化建议
- 定期检查 robots.txt 是否误屏蔽重要栏目或产品页。
- 在文件中声明 Sitemap 地址,提升发现效率。
- 对搜索结果页、过滤参数页设置合理屏蔽,减少抓取浪费。
- 上线前使用搜索引擎官方工具测试规则效果。
总之,robots.txt 是爬虫与网站沟通的第一道桥梁。保持规则简洁、准确,并配合站点地图与日志分析,才能让搜索引擎更高效地抓取优质内容。