什么是软404？
无抓取的通用抓取API获取已渲染的公共页面，用于需要比较HTTP状态与可见内容并检测软404的数据工作流程。
简而言之
- 什么是软404有一个精确的技术边界。 软这个词意味着错误是根据内容推断的，而不是在HTTP响应中声明的。没有“软404”协议代码。真实缺失的页面通常应该返回404未找到，而故意删除没有替代内容的内容可以返回410已消失。相关替代可以使用永久重定向。
- 自定义错误模板返回200是一个常见原因。 应用程序渲染了一个友好的缺失页面组件，但从不设置HTTP响应状态。用户看到错误，而爬虫则看到协议成功。
- 爬虫视角改变了安全的下一步。 当服务器返回实际的404状态时，自定义404页面不是软404；品牌设计和有用的导航与正确的HTTP语义兼容。
- 在没有替代存在时返回404或410。 保持自定义错误页面的实用，但发送一个诚实的状态。
- 在数据管道中检测软404需要明确的分类。 将软错误页面排除在搜索索引、检索语料库和分析数据集之外。干净的管道明确报告缺失，而不是嵌入导航边框和“未找到”的消息好像它是源内容。
软404是内容和状态的不匹配
当一个URL表现得像一个成功页面但其渲染内容表明资源缺失、空白或其他不可用时，就发生了软404。最熟悉的情况是返回HTTP 200 OK的样式化“未找到”页面。服务器声称成功，而页面传达了失败。
搜索引擎使用内容信号来检测这种不匹配，因为将错误模板索引为真实页面会污染结果。谷歌搜索控制台报告受影响的URL为软404，并通常将它们排除在搜索之外。这个标签是由爬虫的解释产生的，而不是由单独的HTTP状态代码产生的。
软404的检测在SEO之外也是重要的。数据管道可以将导航外壳、挑战页面、空白的客户端渲染路由或空搜索结果作为有效内容，前提是它们只检查200。可靠的检索验证状态、最终URL、标题、正文信号和预期页面结构在一起。
软404的直接定义
软404是一个URL，其响应表示成功或重定向到一个明显成功的页面，而渲染的内容的行为像是缺失资源的错误。 谷歌搜索中心 将经典案例描述为一个页面说它不存在，同时返回200。
软这个词意味着错误是根据内容推断的，而不是在HTTP响应中声明的。没有“软404”协议代码。真实缺失的页面通常应该返回404未找到，而故意删除没有替代内容的内容可以返回410已消失。相关替代可以使用永久重定向。
搜索系统如何识别错误似的内容
爬虫获取URL，跟随重定向，记录最终状态，渲染重要资源，并评估可见内容。带有显著缺失页面消息、没有主要内容，或模板几乎与已知错误页面相同的200响应可以被归类为软404。
客户端渲染使过程更困难。初始HTML可以是一个有效的应用程序外壳，而JavaScript随后显示缺失资源的状态。如果脚本对爬虫失败，渲染的页面也可能是空白或几乎空白。因此，诊断必须比较原始响应、渲染输出和资源加载失败。
重定向会产生相同的结果。将每个未知URL发送到主页返回一个成功页面，但该页面并不满足原始意图。搜索系统可能将目标视为错误似的替代，而不是有意义的替代。
| 维度 | 信号A | 信号B |
|---|---|---|
| 缺失的URL | 404或410 | 200与“未找到”内容 |
| 相关替代 | 301到相应内容 | 重定向到无关的主页 |
| 现有页面 | 200与实质性的主要内容 | 200与空白或损坏的渲染 |
| 自定义错误设计 | 有用的页面加真实的404 | 有用的页面加虚假的成功 |
导致软404的模式
软404通常来自CMS默认、宽泛的重定向规则、渲染失败、薄生成路由或仅改变正文的错误处理。
自定义错误模板返回200
应用程序渲染了一个友好的缺失页面组件，但从不设置HTTP响应状态。用户看到错误，而爬虫看到协议成功。
未知的 URL 会重定向到主页
一个通用规则将每个缺失的路径发送到一个成功的目的地。目标与请求的资源不等同，因此重定向并不能解决缺失页面的状态。
内部搜索结果为空
生成的搜索 URL 可以返回一个没有有意义结果内容的完整模板。大量空查询的组合会创建许多可索引的低价值页面。
客户端渲染失败
被阻止的脚本、损坏的捆包、API 失败或水合错误即使服务器返回了 200 也会留下空壳或空白主区域。
数据库或包含故障被掩盖
页面处理程序捕获缺失的记录或模板包含错误，并呈现一个通用主体而不改变成功响应代码。
细薄的生成页面似乎缺失
具有面向、标签、个人资料或位置的路由在技术上可能存在，但包含的独特主内容如此之少，以至于爬虫将其解释为类似错误。
一起审核响应和渲染的页面
软 404 审核必须再现爬虫收到的内容，而不仅仅是已登录浏览器在缓存资源加载后显示的内容。
- 从报告的 URL 开始。 使用 URL 检查或等效的渲染获取捕获最终 URL、状态、截图和渲染的 HTML。
- 比较原始和渲染内容。 确定服务器是否直接发送错误主体，还是 JavaScript 将成功的壳转换为缺失状态。
- 检查关键资源。 缺失的脚本、被阻止的 API 调用和服务器错误可能会在导航仍然渲染的情况下抹去主内容。
- 检查模板相似性。 将标题、标题、主体短语和布局与网站已知的 404 模板和主页进行比较。
- 分类目标资源状态。 决定内容是消失了、移动到相关替代品，还是仍然存在但未能渲染。
- 测试 URL 家族。 采样同级产品、搜索、标签、区域和面向路由，以找到共享的 CMS 或路由规则，而不是一次修复一个 URL。
- 发布后验证。 确认实时状态、渲染内容、内部链接、站点地图成员资格和搜索控制台状态，确保爬虫看到更改。
软错误定义在 谷歌搜索软 404 指导中, 404 语义在 MDN 的 404 参考中, 以及更广泛的状态参考在 HTTP 语义中 阐明了为什么协议和内容都需要检查。
选择与资源状态相匹配的修复
修复取决于内容是否消失、移动或仍然应该存在。
- 当没有替代品时返回 404 或 410。 保持自定义错误页面有用，但发送诚实状态。
- 使用 301 作为相关永久替代。 单独映射旧 URL，而不是将所有缺失路径发送到主页。
- 恢复有效页面的实质内容。 修复被阻止的资源、数据加载、模板和服务器渲染，以使主内容存在。
- 控制空的生成页面。 防止无限制的搜索和面向组合变成可索引的、内部链接的 URL 库。
将软 404 预防构建到模板中
正确的状态处理应属于共享路由和渲染组件，因此每种内容类型都能一致表现。
使缺失记录的处理在渲染自定义错误模板之前设置状态。在服务器渲染的应用中，这应属于路由或框架响应。在客户端渲染的系统中，提供一个可以在应用程序壳返回成功之前表示缺失的服务器或边缘响应。
为代表性缺失 URL 创建自动检查。断言最终状态、标题、规范目标、主体内容存在，以及缺少可索引的成功元数据。包括区域、分页、产品、个人资料和查询路由，因为软错误常常隐藏在次要模板中。
保持网站地图和内部链接的整洁。充满已删除网址的网站地图会邀请重复爬取，而指向全重定向的内部链接表明网站自己的规范图已过时。修复源引用，而不仅仅是目标响应。
软404 vs 真404 vs 重定向
正确的结果取决于资源是否存在以及是否有可替代的内容。
| 案例 | 含义 | 推荐响应 |
|---|---|---|
| 软404 | 类似成功的状态与错误内容 | 修复状态、内容或渲染 |
| 真404 | 资源未找到且响应说404 | 如果没有替代品则保留 |
| 410已消失 | 资源被故意删除 | 在明确永久删除时使用 |
| 301重定向 | 等效内容永久移动 | 直接指向相关替代品 |
在数据管道中检测软404
这个 无爬虫的通用抓取API 可以返回渲染的公共页面内容，这让收集工作流评估用户实际看到的内容。该渲染视图应与状态和最终网址一起检查，而不是被视为成功目标页面的证明。
使用特定主机的预期，例如所需的产品标题、文章主体、结果计数或稳定的模式字段。添加缺失页面短语、空主容器、挑战插页、登录绕道和近似重复错误模板的通用信号。存储分类证据，以便审查错误的正面例子。
将软错误页面排除在搜索索引、检索语料库和分析数据集中。干净的管道明确报告缺失，而不是像嵌入导航的外观和“未找到”消息一样，将其视为源内容。
将状态与页面实际内容匹配
软404不是特殊协议响应。它是爬虫的诊断，成功的传输元数据与缺失、空或错误的渲染内容冲突。
对于没有替代的内容返回404或410，对于等效移动使用直接永久重定向，并在页面应存在时修复渲染。然后验证整个受影响的URL系列中的状态和可见主内容。
准备建立一个更可观察的数据工作流吗？
在页面进入数据集中之前，使用明确的验证规则来检查状态、身份、路由和渲染内容。
今天注册并获得 $5的免费积分 — 无需信用卡.
领取您的$5积分 →常见问题
自定义404页面会产生软404吗？
当服务器返回实际的404状态时，自定义404页面不会产生软404。问题在于当错误页面返回200或重定向到无关的成功页面时产生的不匹配。
软404会影响索引吗？
搜索系统通常会排除被分类为软404的页面，因为尽管是成功的响应，内容看起来缺失或不可用。大型软错误清单也可能浪费爬取注意力，并掩盖真实的网站缺陷。
每个软404都应该重定向到主页吗？
软404网址不应全部重定向到主页。仅在存在接近的相关替代时重定向；否则返回404或410并附上有用的自定义错误页面。
有效页面会被误分类为软404吗？
当关键资源失败、渲染的主内容为空或页面包含的信息过少时，有效页面可能被分类为软404。检查爬虫渲染的输出并恢复预期内容。
抓取工具如何检测软404？
抓取工具可以比较状态、最终网址、标题、主内容结构、已知错误短语以及与网站错误模板的相似性。特定主机的内容预期比单一的全局单词列表更加可靠。