死链检测：错误页面误返回成功响应时怎样核对内容与状态的一致性
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4fa4fdef45ae.html
📄
死链检测：错误页面误返回成功响应时怎样核对内容与状态的一致性
先给结论：状态码只说明服务器愿意怎么回应，不说明页面内容是否真的可用。核对一致性要把“响应状态”“实际可见内容”“页面在站内承担的入口作用”三件事分开取证，再判断该页应继续返回成功、改成错误响应，还是先修内容。下面用一个假设情境把决策过程走完。
假设情境：一个下架商品页仍在返回 200
假设某站把一批停产商品页从数据库标记为下架，模板仍能渲染出标题、面包屑和“相关推荐”，但价格、库存、购买按钮为空。服务器对这类页面统一返回 200 OK。抽查两三个样本时，页面看起来“有内容”，于是被当作正常页放过；规模扩大到几千个后，才发现大量页面只剩空壳。这个情境的关键不是状态码写错，而是内容与状态已经脱节：返回成功，却没有可消费的主体信息。
此时不要直接批量改成 404。先确认这些页面是否仍承担站内入口作用、是否被外部链接引用、是否有替代商品可承接。若直接返回错误，可能切断仍有价值的访问路径；若继续返回成功，则可能让空壳页被当作有效结果长期保留。决策要建立在证据上，而不是建立在“状态码看起来正常”上。
第一步：把状态证据和内容证据分开采集
状态证据指响应行、响应头和最终 URL。内容证据指渲染后可见的主体文本、主图、价格、库存、购买入口等。两者要分别记录，不能只看其中一个。
- 用带跟随重定向的方式请求，记录最终 URL 与最终状态码，避免把 301 后的 200 当成原页正常。
- 对同一 URL 分别取原始 HTML 和渲染后 DOM，比较主体区域是否为空、是否只剩模板文案。
- 记录页面是否包含可点击的下一步入口，例如替代商品、分类页或搜索入口。
- 对样本标注“有主体内容”“仅模板内容”“完全空白”三档，而不是只标成功或失败。
这样做的影响是：如果状态是 200、内容却是“仅模板内容”，问题就落在内容层，而不是链接层。下一步应优先判断该页是否还有保留价值，而不是先改状态码。
第二步：判断不一致属于哪一类，再决定动作
常见的三类不一致，处理方向不同：
- 内容已失效但仍有替代承接。页面主体为空，但存在同品类替代商品或分类页。此时可保留成功响应，把主体内容替换为替代入口，并移除空价格、空库存等误导性模块。
- 内容已失效且无替代承接。页面只剩模板和推荐位，没有可消费信息。此时应评估是否改为错误响应，或做 301 指向最接近的有效页；若两者都不合适，再考虑返回错误。
- 内容有效但状态被误设。页面主体完整，却因配置错误返回错误响应。此时应修正状态，而不是改内容。
区分这三类的证据是：主体区域是否有实际信息、是否存在可跳转的有效目标、该 URL 是否仍被站内链接或外部链接引用。只凭一次请求的状态码无法区分。
第三步：用最小样本验证，再决定是否扩大
先取 10 到 20 个样本，覆盖不同模板、不同下架原因和不同入口深度。对每个样本执行一个实际动作：把主体内容替换为替代入口，或改为错误响应，或做 301。然后观察三项结果：
- 最终 URL 和状态码是否符合预期；
- 渲染后主体区域是否出现可消费内容或明确错误提示；
- 站内入口链是否仍指向有效目标，是否出现新的断点。
如果样本中多数属于“有替代承接”，扩大处理时优先补内容而不是改状态；如果多数属于“无替代承接”，则要准备错误响应或重定向规则。这个判断会直接影响下一步是写内容映射表，还是写状态与重定向规则。
第四步：规模化后必须重新抽查边界
样本成立不代表全量成立。规模化后容易出现三类例外：
- 同一模板下部分页面有替代商品，部分没有，统一规则会误伤有承接的页面；
- 某些 URL 被站内导航或站外链接引用，直接返回错误会制造新的断点；
- 重定向链过长或指向另一条重定向，最终状态与预期不符。
因此扩大处理后要重新抽样，重点检查“被引用但内容为空”“有替代但状态被改错”“重定向后仍返回成功却无主体内容”这三种边界。若发现例外集中，应回到分类规则，而不是继续按原规则批量执行。
不能直接照搬的边界
这套核对方法适用于内容与状态脱节的页面，但不适用于以下情况：robots.txt 的抓取限制不等于可靠的索引移除；站点地图不保证收录；HTTPS 不保证安全无漏洞或排名。若页面只是被 robots.txt 限制抓取，不能据此判断它应返回错误响应；若页面已提交站点地图，也不能据此判断它内容有效。不同搜索引擎对状态与内容的处理需分别核查，不能用一个平台的观察结果直接套到另一个平台。
回到假设情境：那批下架商品页最终是否改成错误响应，取决于每个 URL 是否仍有替代承接和被引用价值。先分类、再取样、再验证，最后才决定批量动作；这样做的结果是，状态码和内容不再各自为政，后续修复也有可复查的依据。
