新站上线爬虫预算、索引权限核查清单
先说结论新站的抓取额度有限,如果大量额度被参数页、重复页消耗,真正需要收录的产品页反而排不上队。这份表从服务器响应、规则冲突、地址结构三方面核查抓取是否用在刀刃上。
适用行业与场景
- 新站上线后一个月内观察抓取情况
- 发现抓取量高但收录量低时
- 站点页面数量快速膨胀后
- 接入 CDN 或防火墙后抓取异常
核查清单
| 检查项 | 判定标准 | 风险等级 | 修复指引 |
|---|---|---|---|
| 服务器响应时间 | 平均响应时间小于 500ms,95 分位小于 1.5s | 高 | 慢响应会直接降低抓取频次,先解决数据库查询与图片体积。 |
| 错误率 | 5xx 比例低于 1%,429 不连续出现 | 高 | 频繁超时会触发降频,检查是否有限流规则误伤正常抓取。 |
| 规则冲突 | 不存在 robots 屏蔽同时又提交 sitemap 的地址 | 高 | 两处规则互相矛盾会让系统放弃该目录,统一由一份配置生成。 |
| 索引权限 | 需要收录的目录未被 noindex,模板未对全站输出 noindex | 高 | 改版时最容易误加,发布后抽查源码确认。 |
| 参数地址控制 | 筛选、排序、分页参数不生成无限组合,重要参数有规范地址 | 高 | 对无独立价值的参数组合加 canonical 或限制可抓取范围。 |
| 地址层级深度 | 重要页面从首页出发不超过 3 次点击可达 | 中 | 深层页面抓取频次低,通过分类页与相关推荐缩短路径。 |
| 内部链接覆盖 | 所有上架产品至少被一个列表页链接指向 | 中 | 定期扫描孤立页面,把未链接的产品补进分类或专题页。 |
| 渲染依赖 | 核心内容不依赖客户端异步加载 | 高 | 服务端直出内容可减少二次渲染队列,提升抓取效率。 |
| 防火墙与 CDN | 未屏蔽搜索引擎的抓取 IP 段,未对静态资源做强制验证 | 高 | 开启人机验证后需为已知抓取来源放行,否则会大面积 403。 |
| 清单新鲜度 | sitemap 在内容更新后 24 小时内更新 | 中 | 把生成动作接入发布流程,减少人工遗漏。 |
| 抓取统计观察 | 每周记录抓取次数、平均响应、状态码分布 | 中 | 建立基线后才能判断某次改动是否造成异常。 |
| 低质页面收敛 | 标签页、空分类、搜索结果页不大量开放抓取 | 中 | 这些页面占用额度且极少带来价值,按需限制。 |
常见误判说明
- 抓取量下降就认为被惩罚:多数情况是站点变慢或规则改动导致,先看响应时间与状态码。
- 只关注收录总数:分类页收录一百个但产品页没进,说明额度用错了地方。
- 一上线就提交海量地址:新站信任度低,分批提交更容易被完整处理。
配套使用说明
- 与 robots 配置清单、sitemap 校验清单组成抓取三件套,本表看效果,那两张表看配置。
- 上线首月每周看一次数据,稳定后改为每月。
- 与页面与内容栏目的清单配合,先保证页面质量再争取额度。
FAQ 高频问题
新站抓取频次很低正常吗?
正常,新站信任积累需要时间,保持稳定更新与快速响应会逐步提升。
被限流了怎么办?
先确认是否自身响应超时或返回错误,修复后通常会在数周内恢复。
需要主动提交每个新页面吗?
不必,sitemap 更新加站内链接即可,手工提交仅用于重点页面。
版本更新记录2026-11-21:首次发布,按 Google 官方公开文档与公开资料整理;后续随规则变化更新,以官方最新版本为准。
如果不想自行逐项核验,也可以直接选用已完成全套自检的 B2B 成品模板站。
相关阅读
多语言独立站 hreflang 配置核验清单独立站robots.txt配置检查项与常见错误XML Sitemap制作、提交与校验自查清单独立站404、重定向配置自查清单独立站重复内容风险自查清单声明:本页自查表仅作为上线前核对参考,不构成任何优化承诺;涉及搜索引擎与法规的细节以官方最新版本为准。