404notfound：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f0867f3fa1d6.html
📄
404notfound：批量页面只有一部分被发现时怎样划分对照组
先给有条件的结论：只有当“被发现”的判定标准、页面生成方式和内部链接条件在两组之间可对齐时，才适合按已发现与未发现划分对照组；否则应改为按可独立操纵的变量分组，例如模板版本、链接层级或内容类型。否则，你得到的差异可能只是抓取路径不同造成的，而不是页面本身有问题。
先确认“被发现”指的是哪一种状态
“被发现”至少可能指三种不同状态：链接被爬虫抓取、URL 进入抓取队列、页面被索引。三者不能混为一组。若只把“出现在抓取日志里”当作已发现，把“从未出现在日志里”当作未发现，那么对照组实际上比较的是“是否被内部链接指向”，而不是页面质量。
可操作的区分方法是：从服务器日志、站点地图提交记录和内部链接表中各取一份名单，做交集与差集。若某批 URL 在日志中出现过，但未进入索引，它应归入“已抓取未索引”组，而不是“未发现”组。这个动作会直接决定下一步：前者要检查内容与重复问题，后者要先解决链接可达性。
按可操纵变量分组，而不是按结果分组
按结果分组（已发现 vs 未发现）容易产生选择偏差：你是在用结果反推原因。更稳的做法是先找出一个你能够独立改变的条件，再按这个条件分组。常见可操纵变量有三类：
- 内部链接层级：同一模板下，入口链接数不同的一组页面。
- 页面生成方式：服务端渲染与客户端渲染各取一批。
- 内容类型：列表页、详情页、聚合页分别抽样。
假设你有一万条商品 URL，其中约两千条从未被抓取。不要直接把这两千条与其余八千条对比，而应先按“距离首页的点击深度”分层，在每一层内再比较已发现与未发现的比例。这样即使浅层页面整体更容易被抓取，也不会污染结论。
什么情况下这个对照会失效
反例：如果未发现的那批 URL 全部来自同一个刚上线的模板，而已发现的那批来自旧模板，那么两组之间至少同时存在模板、上线时间、内部链接位置三个差异。此时无论你观察到什么差别，都无法归因到单一变量。对照失效，应该先固定模板和上线时间，只在同一模板内比较链接位置的影响。
另一个会让结论失效的情况是：两组 URL 的返回状态并不一致。若未发现组里混有返回 404 或 410 的地址，那么它们本来就不应被抓取，把它们当作“遗漏页面”会得出错误结论。需要先按状态码清洗名单，再划分对照组。
一个注明假设的短例子
假设某站点有 5000 条详情页，其中 800 条未出现在抓取日志中。你按点击深度分成三层：一层 1000 条、二层 2000 条、三层 2000 条。在每一层内，比较已发现与未发现页面的内部链接数量中位数。若三层内都显示未发现组的链接数明显更少，那么“链接不足”是一个值得优先处理的方向；若只有第三层出现差异，则更可能是深度本身在起作用，而不是链接数量。
这个例子中的数字只用于说明分组方法，不代表任何真实站点的比例。执行清洗和分层后，下一步应优先处理差异最集中的那一层，而不是全站批量加链接。
下一步动作与结果如何影响后续判断
选定分组后，先做一次小范围动作：只对差异最大的那一层补充内部链接，并记录该层 URL 在后续抓取日志中的出现情况。若该层未发现比例下降，而其他层保持稳定，说明链接可达性是主要限制条件，可以把动作扩展到相邻层。若该层没有变化，而其他层反而出现变化，说明你的分层变量不是关键因素，需要回到模板或内容类型重新分组。
需要留意，站点地图提交不保证收录，robots.txt 的抓取限制也不等于可靠的索引移除。判断“被发现”时，应以实际抓取与索引状态为准，并分别核查不同搜索引擎的支持情况。任何单一信号归零，都不足以单独证明处理正确。
