飞行员
验证一个工作流程
运行具有代表性的源示例并检查可用结果和异常情况。在扩展之前就接受标准达成一致。
范围
定义网站边界
递归
收集连接的页面
格式
选择支持的输出
来源
保留页面级来源
谁使用内容迁移和站点捕获
抓取批准的网站部分以捕获页面内容、链接和元数据以进行迁移映射和迁移后检查。
01
网络操作
定义业务问题并审查收集的证据。
02
移民机构
使用可重复的过程来比较重要的观察结果。
03
内容管理者
将可靠的输入连接到产品或研究工作流程。
04
整合业主
将源输出映射到现有应用程序并验证必填字段。
05
工作流程操作员
监视异常、维护收集上下文并检查不完整的运行。
为什么此工作流程会大规模中断
围绕影响可用业务成果的故障模式进行设计。
问题 01
上下文丢失
发现过程中遗漏的页面可能会从迁移计划中消失。根据网站的已知 URL 库存协调爬网覆盖范围。
保留可比较的观察结果问题 02
运行结束但没有可用结果
完成的爬网仍然可以省略重要路径或包含不相关的路径。将发现的页面与范围和覆盖率预期进行协调。
验证实际结果问题 03
下一组无法验证结果
保留源上下文和可审查的证据以及结果。定义在生产收集之前由谁处理不完整的记录。
让交接可追踪您的工作流程可以使用的数据
保持收集层和规范化业务记录的明确定义。
- old_url
- 保留源或目的地参考以进行追踪。
- page_title
- 从相关源标题中保留的文本。
- content_ref
- 由您的应用程序分配或保留的稳定内容引用。
- outbound_links
- 观察结果中保留了可用的来源参考。
规范化记录 · 示例
{
"old_url": "https://example.com/public-source",
"page_title": "Example public resource",
"content_ref": "content_sample_01",
"outbound_links": [
"https://example.com/source"
]
}建议的下游记录，而不是字面的 Scrapeless API 响应。字段提取和标准化属于您的应用程序。
递归网站集合，支持 Markdown、HTML、链接和屏幕截图等内容格式。
实践中的例子。在将文章映射到新的 CMS 之前捕获自有的帮助中心。
此工作流程如何运行
从批准的输入到经过验证的结果的集中顺序。
- 01
清点源站点和排除项
首先：源域、范围限制和目标映射规则。定义收集前的最小可用结果。
- 02
捕获范围页面和链接关系
递归网站集合，支持 Markdown、HTML、链接和屏幕截图等内容格式。分别记录失败和部分结果。
- 03
映射目的地并验证迁移的内容
范围内的覆盖范围、重复率和保留的文档质量。保留进入下一阶段的记录证据。
专为您的团队工作方式而打造
产品能力支持工作流程；您的申请定义了成功的含义。
- 种子→范围→页面
在规定范围内收集
对选定的网站区域使用递归收集。从小范围开始，在扩大爬网之前检查发现的页面。
- Markdown · HTML · 链接
选择有用的输出格式
Crawl 支持的内容格式包括 Markdown、HTML、链接和屏幕截图。选择您的消费应用程序所需的格式。
- 页面→文档→来源
保留来源身份
将每个保留的文档与其 URL 关联并捕获上下文。然后，您的管道可以维护版本控制和源链接引用。
- 过滤→去重→发布
准备下游内容
在索引或训练之前应用您自己的重复数据删除、内容过滤器和质量检查。收集页面是数据集准备的开始。
规划工作流程的成本
抓取文档将浏览器运行时和代理流量描述为成本驱动因素。范围、渲染需求和输出格式会影响消耗。
这些是工作负载阶段，而不是命名的订阅计划。当前费率和账户限额适用。
选择如何运行工作流程
使用您自己的代表性工作负载来比较职责和操作工作量。
工作流程责任
爬行
自管理堆栈
手动流程
执行
指定范围的网站采集
您的团队负责运行和维护执行层。
操作员重复每个收集或浏览步骤。
业务规则
源权限、范围、内容过滤、版本控制、索引和下游模型使用。
在您的应用程序中实现。
由研究者或操作者应用。
验收
在工作流程中保留结果和内容检查。
构建验证和异常处理。
检查捕获的证据。
成本规划
衡量产品消耗加上下游加工。
衡量基础设施和维护工作。
考虑每项已完成任务所花费的时间。
将其连接到您已经运行的堆栈
让业务逻辑和分析靠近使用结果的系统。
Python
Node.js
Go
您的搜索或 RAG 管道
源权限、范围、内容过滤、版本控制、索引和下游模型使用。 打开产品文档了解当前设置和支持的选项。
探索更多 Crawl 工作流程
使用相同产品的相关工作流程，每个工作流程都有自己的输入和验收标准。
人工智能训练数据
将批准的网站抓取到源链接的内容中，您的管道可以过滤、删除重复内容并为模型训练做好准备。
RAG知识数据
将选定的网站抓取到您的检索管道可以通过可追踪引用进行分块、嵌入和刷新的内容中。
企业知识库
收集范围内的公司文档和公共资源，然后围绕团队的信息需求审查和组织内容。
您当前所在位置
内容迁移和站点捕获
抓取批准的网站部分以捕获页面内容、链接和元数据以进行迁移映射和迁移后检查。
全站变更监控
重复范围爬网并比较标准化内容快照以检测添加、删除和有意义的页面更改。
文档索引
抓取选定的文档路径并保留页面上下文，以进行导航感知搜索和可发现的技术参考。
市场情报语料库
Crawl 批准了公司和行业网站，为分析师提供了可比较的源链接材料，以进行经常性研究。
多模式训练数据
收集屏幕截图以及页面内容，以构建可追踪的视觉文本记录，以进行多模式研究和评估。
寻找更多 Crawl 工作流程？
探索训练数据、RAG、文档搜索和网站研究的更多用例。
团队在构建之前提出的问题
确定第一次运行的范围并设定明确的期望。