测试死链接：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 (compatible; QlyzeBot/1.0; +https://app.qlyze.io/bot)
🔗 /61ce7532a094.html
📄
测试死链接：批量页面只有一部分被发现时怎样划分对照组
先给结论：不要按“已发现/未发现”直接分组，而要先按链接可发现路径分层，再在每层内部随机划分对照组。因为“一部分被发现”往往不是页面本身好坏，而是入口位置、链接深度、站点地图覆盖或内链结构不同造成的。把入口差异混进对照组，后续无论怎么改都分不清是页面问题还是发现路径问题。
先确认你手里的资料属于哪一种“未发现”
打开你正在处理的抓取或收录清单，逐条核对每个未发现页面的三个属性：是否有站内链接指向、是否出现在站点地图、是否被 robots.txt 限制抓取。这三类原因的处理方式完全不同。
- 有内链、在站点地图、未被限制，却仍未发现：更可能是页面质量或重复内容问题，可以进入对照组测试。
- 有内链但不在站点地图：先补站点地图，再观察，不要直接归入质量组。
- 仅靠站点地图、没有内链：发现路径单一，应单独分层，不能和有多重入口的页面混在一起。
需要提醒的是，robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录。这两点决定了你不能把“已提交但未发现”直接当作页面质量问题。
按可发现路径分层，而不是按结果分组
把全部页面先分成三层：第一层是有稳定内链且出现在站点地图的；第二层是只有站点地图、没有内链的；第三层是只有内链、未进站点地图的。每一层内部再随机抽一半作为对照组，另一半作为处理组。
这样划分的好处是：同一层内的页面在发现路径上条件接近，处理组和对照组的差异更可能来自你施加的单一动作，而不是入口数量不同。如果某个层样本太少，比如只有几个页面，就不要在这一层做对照，改为记录观察，等样本积累后再判断。
一个注明假设的短例子
假设你手上有 200 个批量生成的页面，其中 60 个已被发现，140 个未发现。直接拿这 60 个和 140 个对比，会得出“被发现的就是好页面”的错误结论，因为已发现的页面可能恰好都在导航里。
正确做法：先剔除导航里有链接的页面，剩下的未发现页面中，如果 80 个有内链、60 个没有内链，就分成两组。在有内链的 80 个里随机抽 40 个，给它们增加一条来自相关页面的内链，另外 40 个不动。两周后比较两组的发现情况。这个例子中的数字仅用于说明分组方法，不代表任何真实站点的结果。
对照组划分后，用动作结果决定下一步
划分完成后，只施加一个可核查的动作。比如给处理组补充内链，或把处理组加入站点地图，而不是同时改标题、改内容、改内链。动作执行后，记录两组的发现数量变化。
- 如果处理组明显改善而对照组没有变化，说明该动作对发现路径有效，可以把同一动作推广到同层其他页面。
- 如果两组都没有变化，不要急着换动作，先检查抓取日志中这些页面是否被请求过。请求量为零可能意味着入口仍然不足，也可能意味着抓取预算被其他部分占用，不能单独证明页面质量有问题。
- 如果处理组和对照组都改善了，说明外部因素在起作用，比如站点整体抓取频率变化，此时不能把改善归因于你的动作。
每次只改一个变量，是让对照组有意义的前提。多个角色对同一批页面有不同判断时，把分歧写成“哪一层、哪个动作、观察多久”的项目记录，比争论页面好坏更容易推进。
把分歧转成可核对的项目记录
当开发认为页面没问题、SEO 认为入口不足时，不要停留在观点层面。把待核对的事实列成一张表：页面路径、所在层、是否有内链、是否在站点地图、是否被 robots.txt 限制、上次抓取时间。每个角色只填写自己掌握的那一列，空缺处标为待确认。
这张表本身就是对照组划分的依据。填完后，如果发现大多数未发现页面集中在“无内链且不在站点地图”这一层，下一步动作就明确了：先补入口，再观察，而不是继续争论页面内容。如果未发现页面分散在各层，才需要考虑页面质量或重复问题。动作执行后回填抓取时间列，用前后对比决定是否扩大处理范围。
