独立站robots.txt配置检查项与常见错误
先说结论robots.txt 只有几行,却决定了爬虫能进哪些目录、能不能读到样式与脚本。误写一条 Disallow 就可能让整站从索引里消失,这份表把语法、放行范围与验证方式逐条列清。
适用行业与场景
- 新站上线前确认抓取规则
- 站点从测试环境切到正式环境时
- 发现整站不收录需要排查原因
- 新增后台、会员、搜索结果等目录后
核查清单
| 检查项 | 判定标准 | 风险等级 | 修复指引 |
|---|---|---|---|
| 文件可访问 | /robots.txt 返回 200,内容类型为 text/plain,大小小于 500KB | 高 | 返回 404 或 5xx 会被视为无限制放行,反而更危险,先确保文件存在。 |
| 语法与分组 | 每个 User-agent 独立分组,指令拼写正确,冒号后带空格 | 高 | 拼错的指令会被整行忽略,改完用官方语法说明逐条比对。 |
| 禁止整站屏蔽 | 正式环境不存在 User-agent: * 与 Disallow: / 的组合 | 高 | 测试环境规则复制过来是最常见事故,上线前全文搜索一次。 |
| 样式与脚本放行 | CSS、JS 目录未被屏蔽,图片目录未被屏蔽 | 高 | 屏蔽样式脚本会让系统无法判断页面是否适配移动端。 |
| 后台与敏感目录 | 后台、购物车、结算、用户中心、搜索结果页均被合理限制 | 中 | 这些地址被抓取既浪费额度又可能暴露参数结构。 |
| 通配符使用 | 使用 * 与 $ 时确认匹配范围符合预期,不用来精准屏蔽单个地址 | 中 | 单个地址的屏蔽应使用 noindex 或 301,而不是依赖路径匹配。 |
| sitemap 声明 | 文件末尾以绝对地址声明 sitemap,含协议与域名 | 中 | 相对路径不被识别,多语言站点可声明多个 sitemap。 |
| 多环境区分 | 测试站、预发站的 robots 与正式站不同,测试站允许抓取但页面带 noindex | 高 | 两个机制要配合:允许抓取才能读到 noindex,直接屏蔽反而看不到指令。 |
| Crawl-delay 无效 | 不依赖 Crawl-delay 控制抓取速度,改用服务器承载与官方工具 | 低 | 该指令对主流搜索引擎无效,写了也不生效。 |
| 协议与域名统一 | robots.txt 在 http 与 https、www 与非 www 下均可达且内容一致 | 中 | 四个入口都应能取到文件,避免某一侧返回错误页面。 |
| 变更后回归 | 修改规则后 48 小时内复查抓取统计与索引量 | 中 | 重大变更前留存旧文件,出现异常可快速还原。 |
| 不暴露内部信息 | 文件中不出现内网地址、测试账号、未上线页面路径 | 低 | robots.txt 是公开文件,视为对外公告而非保密工具。 |
常见误判说明
- 以为在 robots.txt 里屏蔽就等于删除页面:被屏蔽的页面仍可能出现在结果里,删除要用 noindex 或 410。
- 把搜索结果页、筛选参数页全部屏蔽后,发现分类页也不收录,原因是参数规则写得太宽。
- 忽略 http 与 https 两套文件不一致,导致部分抓取走错规则。
配套使用说明
- 与抓取预算与索引权限清单配合,本表管规则写法,那张表管实际抓取效果。
- 每次新增目录或改版路由后复查一次,季度全量复核。
- 修改前后各导出一次抓取统计,对比变化是否在预期内。
FAQ 高频问题
robots.txt 能阻止页面被索引吗?
不能完全阻止,它只阻止抓取,要移出索引需配合 noindex 或返回 410。
一个站点可以有多个 robots.txt 吗?
每个主机名与协议组合下只有一个,子域名各自独立。
规则写错会立刻生效吗?
抓取时即时读取,但已缓存的结果需要时间更新,通常数天内可见变化。
版本更新记录2026-11-21:首次发布,按 Google 官方公开文档与公开资料整理;后续随规则变化更新,以官方最新版本为准。
如果不想自行逐项核验,也可以直接选用已完成全套自检的 B2B 成品模板站。
声明:本页自查表仅作为上线前核对参考,不构成任何优化承诺;涉及搜索引擎与法规的细节以官方最新版本为准。