独立站上线自查清单库LEYUN · SITE LAUNCH CHECKLIST

独立站robots.txt配置检查项与常见错误

栏目:抓取与收录 · 核实更新:2026-11-21 · 12 项

先说结论robots.txt 只有几行,却决定了爬虫能进哪些目录、能不能读到样式与脚本。误写一条 Disallow 就可能让整站从索引里消失,这份表把语法、放行范围与验证方式逐条列清。

适用行业与场景

  • 新站上线前确认抓取规则
  • 站点从测试环境切到正式环境时
  • 发现整站不收录需要排查原因
  • 新增后台、会员、搜索结果等目录后

核查清单

自查清单:独立站robots.txt配置检查项与常见错误
检查项判定标准风险等级修复指引
文件可访问/robots.txt 返回 200,内容类型为 text/plain,大小小于 500KB高返回 404 或 5xx 会被视为无限制放行,反而更危险,先确保文件存在。
语法与分组每个 User-agent 独立分组,指令拼写正确,冒号后带空格高拼错的指令会被整行忽略,改完用官方语法说明逐条比对。
禁止整站屏蔽正式环境不存在 User-agent: * 与 Disallow: / 的组合高测试环境规则复制过来是最常见事故,上线前全文搜索一次。
样式与脚本放行CSS、JS 目录未被屏蔽,图片目录未被屏蔽高屏蔽样式脚本会让系统无法判断页面是否适配移动端。
后台与敏感目录后台、购物车、结算、用户中心、搜索结果页均被合理限制中这些地址被抓取既浪费额度又可能暴露参数结构。
通配符使用使用 * 与 $ 时确认匹配范围符合预期,不用来精准屏蔽单个地址中单个地址的屏蔽应使用 noindex 或 301,而不是依赖路径匹配。
sitemap 声明文件末尾以绝对地址声明 sitemap,含协议与域名中相对路径不被识别,多语言站点可声明多个 sitemap。
多环境区分测试站、预发站的 robots 与正式站不同,测试站允许抓取但页面带 noindex高两个机制要配合:允许抓取才能读到 noindex,直接屏蔽反而看不到指令。
Crawl-delay 无效不依赖 Crawl-delay 控制抓取速度,改用服务器承载与官方工具低该指令对主流搜索引擎无效,写了也不生效。
协议与域名统一robots.txt 在 http 与 https、www 与非 www 下均可达且内容一致中四个入口都应能取到文件,避免某一侧返回错误页面。
变更后回归修改规则后 48 小时内复查抓取统计与索引量中重大变更前留存旧文件,出现异常可快速还原。
不暴露内部信息文件中不出现内网地址、测试账号、未上线页面路径低robots.txt 是公开文件,视为对外公告而非保密工具。

常见误判说明

  • 以为在 robots.txt 里屏蔽就等于删除页面:被屏蔽的页面仍可能出现在结果里,删除要用 noindex 或 410。
  • 把搜索结果页、筛选参数页全部屏蔽后,发现分类页也不收录,原因是参数规则写得太宽。
  • 忽略 http 与 https 两套文件不一致,导致部分抓取走错规则。

配套使用说明

  • 与抓取预算与索引权限清单配合,本表管规则写法,那张表管实际抓取效果。
  • 每次新增目录或改版路由后复查一次,季度全量复核。
  • 修改前后各导出一次抓取统计,对比变化是否在预期内。

FAQ 高频问题

robots.txt 能阻止页面被索引吗?
不能完全阻止,它只阻止抓取,要移出索引需配合 noindex 或返回 410。
一个站点可以有多个 robots.txt 吗?
每个主机名与协议组合下只有一个,子域名各自独立。
规则写错会立刻生效吗?
抓取时即时读取,但已缓存的结果需要时间更新,通常数天内可见变化。
版本更新记录2026-11-21:首次发布,按 Google 官方公开文档与公开资料整理;后续随规则变化更新,以官方最新版本为准。

如果不想自行逐项核验,也可以直接选用已完成全套自检的 B2B 成品模板站。

声明:本页自查表仅作为上线前核对参考,不构成任何优化承诺;涉及搜索引擎与法规的细节以官方最新版本为准。