网络爬虫是如何工作的？

种子和URL边界

爬虫以种子URL和保存候选资源的边界开始。种子可以来自经过批准的清单、网站地图或选定的公共页面。边界表示尚未完成的工作，通常会伴随如发现来源和优先级等信息。

调度程序根据爬取的目的选择候选者。网站清单可能偏爱广泛探索，而集中收集可能优先考虑可能匹配特定页面类型的链接。无论哪种策略都不能保证找到每一个相关页面。

该 网络爬虫架构 将边界与下载和链接处理分开。这种分离有助于在抓取由多个工作者执行时记录待处理的工作。

保留种子来源。网站所有者提供的URL与在页脚中发现的URL有不同的发现基础。当这种关系有助于解释覆盖时，存储引入候选者的资源。对于有限的审计，边界还应该保留为什么排除了某个候选者，而不是默默丢弃每个不熟悉的地址。

抓取资源之前的范围检查

爬虫在调度抓取之前检查候选URL是否符合范围和访问规则。常见的范围维度包括主机、路径前缀、资源类型和查询模式。这些是项目决策，应该在抓取扩展之前记录下来。

使用页面的适用基础URL解析相对链接。该 URI引用解析标准 解释了如何将引用变为绝对地址。将解析的URL与范围规则进行比较；一个看似相对的链接仍然可能在预期范围之外解析。

评估重定向以及初始候选者。一个批准的URL可能指向另一个主机或限制路径。最终的目标应该接受相同的范围审查，而不是继承起始地址的批准。

检查爬虫身份的robots规则。该 机器人排除协议 定义了路径匹配和规则文件的处理。将网站偏好与合同和法律约束放在一起。技术允许的决定并不建立内容的每一个可能下游使用都是被允许的。

应用最狭窄的实用范围。对于拥有的文档审计，仅收集文档主机和约定部分比允许每个链接的目标更容易验证。

抓取、页面身份和可选渲染

抓取获取检查资源和发现进一步链接所需的表示。爬虫可以使用HTTP客户端获取适合的页面，并在链接依赖于JavaScript时执行浏览器。

首先确定收到的内容。记录响应状态、最终URL和适当的页面分类。重定向到身份验证或挑战响应可能会让爬虫留下有效的传输数据和没有可用的发现输入。仅仅因为返回了字节，不要将该资源视为成功检查。

当发现链接缺失于初始标记时，渲染有其目的。在假设每个资源都需要浏览器之前，检查页面。浏览器执行可以增加网络工作并引入一个普通文档抓取无法携带的状态。

对于动态工作流， Scrapeless Agent Browser 提供了浏览器基础收集使用的执行层。该 Scrapeless网站抓取配置 描述了管理的抓取表面。在依赖它们进行完整声明之前，确认其范围控制和结果语义。

已渲染的页面仍然需要与任务所需的链接或内容相关的准备决定。爬虫应该知道它是检查了预期文档、显式的空状态还是无关的响应。

链接发现和URL去重

链接发现从检查过的资源中提取候选引用，而去重决定哪些候选代表已经知道的工作。爬虫需要在某些项目中进行URL级和内容级的推理。

在适当时，从普通HTTP抓取身份中删除片段，因为片段标识的是位置或客户端解释，而不是单独的服务器请求。谨慎处理查询参数。一些参数仅跟踪归属，而其他参数则改变了产品变种或类别的内容。一个删除所有查询的规则可能会合并不同的资源。

仅规范化您的URL政策能够证明的内容。保留原始和最终地址以及规范化的调度键。这使得您可以在不失去发现轨迹的情况下修订错误的等价规则。

内容重复是一个单独的问题。几个URL可能服务于类似的文档，而同一个URL的两次抓取可能因区域或会话而异。在合并记录之前，决定哪些区别对任务很重要。内容哈希可以检测相同的字节，但相同的字节并不是重复信息的唯一定义。

这个 网站URL发现方法 说明为什么库存通常需要多个输入。链接和网站地图描述了该站点的不同视图，两者都可能遗漏相关资源。

调度主机负载和控制爬虫陷阱

爬虫调度程序控制总体主机负载，并防止发现扩展而没有有用的边界。每个主机的限制应适用于工人和网络出口，因为目标接收的是组合的收集工作负载。

设定批准的请求速度、页面预算和时间预算。这些是操作约束，而不是普遍的安全值。一个小的公共网站和一个约定的企业数据源可以有非常不同的限制。记录所选限制的来源。

爬虫陷阱通常来自可以不断生成新组合的URL空间。日历导航、排序选项和分面过滤器是常见示例。爬虫可能会看到无休止的独特地址，这些地址对其目的几乎没有信息增益。

使用与页面含义相关的规则。对于目录库存，典型的产品细节路径可能是有用的，而任意的过滤参数组合则超出了范围。如果无法可靠地推断出这一区别，请让源所有者提供批准的库存或进一步限制发现。

记录停止原因。达到页面预算与耗尽合格前沿是不同的。操作员应能够看到抓取是否是故意停止、符合其请求范围，或仍有待处理的工作。

抓取结果、检查点和覆盖范围

抓取结果应解释所发现的、访问的、排除的和接受的内容。一个单一的“完成”标签并不能描述预期的库存是否得到了覆盖。

跟踪候选者和资源的状态。候选者可以超出范围、被政策禁止、待处理、已抓取或在内容检查后被拒绝。保持状态转换可理解。如果操作员从检查点恢复工作，该记录应区分已完成的资源和那些仍在等待决定的资源。

覆盖范围总是相对定义的。抓取可以覆盖批准的种子列表、路径规则下可达的链接或在站点地图中声明的资源。仅仅通过达到其队列的末尾，它无法证明没有孤立页面存在。

在完整性很重要时，将观察到的库存与另一个合适的来源进行比较。一个拥有的CMS导出可以揭示没有入站链接的页面。一个站点地图可以识别抓取遗漏的声明页面。通过检查源解决差异，而不是在没有解释的情况下合并计数。

为选定的执行层预算，使用 当前Scrapeless定价。已呈现的发现和静态提取有不同的资源需求，因此将成本与定义的覆盖结果进行比较。

一个示例性文档抓取

一个拥有的文档抓取可以使每个控制可见。此规划示例从一个经过同意的文档部分和站点所有者提供的站点地图开始。它并不代表一个经过测量的实时抓取。

前沿接收具有其发现源的种子。范围检查将工作保持在批准的主机和路径上。每个抓取的页面都会被分类，其链接被解析，合格的候选者根据URL等价政策进入前沿。

爬虫记录重定向并排除账户路径。它仅在实际依赖于此的导航中使用浏览器渲染。一个单独的审计阶段检查标题、内部链接和迁移任务所需的其他属性。

当合格的前沿耗尽时，操作员将访问过的库存与站点地图和CMS列表进行比较。缺失的资源会收到具体的原因：无链接页面、超出范围的路径、拒绝的响应或不可用的来源。最终报告可以用所有者可以验证的术语描述覆盖范围。

这个工作流程使爬虫负责发现和检索，而审计则负责解读。保持这些责任的独立使重新使用相同的库存进行另一个授权分析变得更加容易。

结论

一个网络爬虫通过调度、抓取、链接发现和去重的控制循环工作。其范围规则和停止条件决定了该循环可以声称覆盖了什么。

从明确的种子和约定的库存定义开始。将候选决策、最终目标和拒绝原因保留在结果中。抓取在其覆盖范围可以解释并与启动它的目的进行检查时是有用的。

参考文献

• 无抓取网站爬行配置
• 代理浏览器执行动态页面
• 网站 URL 发现方法