Colly是什么？

Scrapeless Proxies 提供基于 Go 工具（如 Colly）构建的 HTTP 收集工作流的代理基础设施。

Colly 是一个用于 Go 的网络爬虫框架，它围绕 Collector 和事件回调组织 HTTP 收集。它可以请求页面、处理响应、选择 HTML 或 XML 内容，并根据配置的规则跟踪发现的链接。您的应用程序提供提取逻辑并决定哪些结果是有效的。

Colly 在 Go 项目需要比裸 HTTP 请求和解析器提供的更多协调时十分有用。该框架将网络活动和页面处理回调整合到一个生命周期中。它仍然是一个面向 HTTP 的收集器，因此，当所需内容仅在 JavaScript 执行后出现时，页面需要额外的获取方法。

收集者的工作是什么？

一个 Colly Collector 管理网络通信，并在收集过程中调用注册的回调。 Colly 回调生命周期 在请求之前、响应之后、在 HTML 或 XML 提取期间，以及在抓取响应之后提供钩子。这使程序能够在其所属的阶段附加行为。

请求回调可以记录目的地并附加允许的请求上下文。响应回调可以检查到达的内容。HTML回调可以选择相关元素并构造记录。错误回调可以保留请求未产生可用响应的原因。这些回调应该有明确的职责，而不是各自试图运行整个管道。

在开始收集之前注册回调。一旦请求开始，程序应该已经知道如何分类页面以及将接受的记录发送到哪里。将回调注册视为初始化的一部分，使收集器的行为在工作后来变为异步时更加可预测。

发现与提取是两个独立的决策

发现决定请求哪些 URL，而提取决定从被接受的页面读取哪些字段。Colly 可以通过回调同时执行这两项功能，但不加区分地组合它们的规则可能会使爬虫的范围远超预期的数据集。链接并不自动成为有用或批准的集合目标。

对于公共文档索引，页面可能包含文章链接、导航链接、语言选择器和无关的外部资源。发现回调应识别所需的文章路径，并根据当前页面解析相对引用。它不应仅仅因为锚点具有地址而跟随每个锚点。

提取在页面类型确定后开始。文档文章可能需要一个标题和一个主要内容区域。这些选择器应该限定于文章，而不是导航标题。将源URL与提取的记录一起保存，以便意外结果可以追溯到其文档。

将这些决策分开也有助于维护。重新设计的索引可能会改变链接发现，而文章提取仍然有效。新的文章模板可能会改变提取，而批准的 URL 模式保持稳定。不同的功能和结果类别使这些差异变得明显。

范围控制保持爬虫有限

Colly 提供了域名、URL 过滤器、深度和其他采集行为的配置。这些控制帮助定义采集器可以去哪里，以及发现可以持续多远。 Colly 配置模型 还支持应用程序和环境设置，因此当作业在不同环境之间移动时，有效配置值得审查。

允许的域形成一个边界，但许多网站在一个域内有效地暴露出无尽的查询参数组合。排序、过滤和日历控件可以生成不添加有用记录的独特网址。定义哪些路径和参数属于集合，并选择一个明确的结束条件。

请求去重和记录去重针对不同的对象。访问的URL机制避免了对同一请求身份的重复网络工作。两个不同的URL仍可能代表同一篇文章。在去重输出数据集时，请使用文章的稳定标识符或公认的规范地址。

保持跳过的工作可观察。拒绝的 URL 因为超出了批准的范围，不应被视为失败的下载。缺少必需内容的有效 URL 不应被视为成功收集。这些区别使得运行报告的覆盖率得以呈现，而不将政策决策与技术失败混淆。

异步 Colly 需要一个明确的完成点

异步 Colly 可以重叠请求，但应用程序必须等待收集器的工作完成后再退出。该框架的异步示例将收集与等待和特定领域限制规则配对。启动请求并立即从程序返回可能会导致工作未完成。

规则： 1. 仅输出翻译文本——不做解释，不添加额外的代码框。 2. 精确保留Markdown/HTML结构（标题、列表、链接、表格）。 3. 保持任何占位符标记如@@CODEBLOCK_0@@或@@INLINECODE_0@@保持完全不变；绝不翻译、重排、合并或重新格式化它们。 4. 不添加或删除```代码框，也不将普通文本包装在代码块中。 Colly 并行和延迟示例 显示了限制规则如何支配匹配目标。选择围绕源的限制和你的处理能力。单独的全局工作者设置可能无法表达多个主机的不同需求或你的输出写入器的能力。

回调并发运行时也会影响共享的应用状态。向共享结果结构添加内容、更新计数器或写入文件需要一个明确的所有权模型。Go的 数据竞争检测器 有助于识别测试期间未同步的并发访问。框架管理的网络并不会自动使您的回调中的每个变量都安全。

插图文档爬虫

文档爬虫可以使用Colly发现批准的文章页面并从每个页面提取一个小而稳定的记录。假设所需的输出包括文章地址、标题、章节标签和主要文字。这个例子描述了设计；它并不声称测量的页面或结果数量。

1. 从已知的文档索引开始，并定义允许的主机和文章路径模式。
2. 发现匹配的文章链接，同时排除改变语言或排序的导航操作。
3. 解析每个目的地，仅在其仍处于所选范围内时接受它。
4. 将响应分类为文章，然后选择标题和主要内容区域。
5. 验证必需字段，并将接受的记录发送到受控输出写入器。
6. 等待集合完成，并分别报告接受、拒绝和未完成的工作。

在索引提供文章不重复的信息时，在请求中保持上下文，如章节标签。不要假设完成顺序将与发现顺序匹配。并发请求可能会以不同的顺序完成，因此通过数组位置关联记录可能会将错误的章节附加到文章。

使用明确的结果类型。缺失的标题应成为验证结果，并带有理由，而不是默默地写入存储的空白标题。如果主要区域包含一个表格，请决定数据集是否需要其结构化行或仅需要可读文本。该决策应在集合开始之前属于记录合同。

Colly与纯Go客户端或浏览器的比较

Colly在普通HTTP通信之上增加了收集生命周期和发现协调。对于固定的端点列表，纯Go HTTP客户端可能足够。Colly在页面回调、链接跟踪和共享收集设置需要反复组装时变得有用。

框架选择应跟随工作的协调需求。一个小的固定源可能无法从爬虫机械中受益。具有详细页面和重复布局的文档图通常会受益。即使其URL图很简单，JavaScript应用程序可能仍需要一个浏览器。仅仅语言偏好无法解决获取的需求。

Colly集合的代理路由

无残留代理可以为Colly提供网络路由，当源上下文需要代理基础设施时。 无残留代理系列 支持不同的路由需求，而Colly继续管理请求和回调。保持代理选择与识别有效文章页面的规则分开。

在选择路由之前，请查看 无残留代理简介 以及与 爬虫架构中代理服务器相关的解释。 使用来自服务的当前配置细节，并避免将凭据放置在收集的URL或调试输出中。

一个代理不会为HTTP收集器创建JavaScript渲染节点。如果回调无法找到仅在浏览器中存在的内容，请检查响应及源的获取要求。查看 无残留定价 所选路由服务的，并使用预期的爬虫范围来估算成本，而不是每个可发现的URL。

结论

Colly为Go应用程序提供了一种结构化的方式通过收集器和回调协调HTTP爬虫。首先定义发现范围，将提取与每个记录相绑定，并明确异步完成和共享状态所有权。成功的爬虫产生可解释的覆盖和有效的记录，而不仅仅是一个访问过的地址的长列表。