将网站变成源头链接的知识
采集指定范围的网站内容，用于训练语料、RAG、文档搜索和定期网站研究。
抓取工作流程
批准的网站范围说明性示例 · 没有实时收集正在运行
从现场开始
围绕域或选定的文档路径组织集合。
保留可用的格式
选择与您的下游处理相匹配的支持输出。
构建可追溯的数据集
通过过滤、索引和刷新保留页面身份。
适合每个 Crawl 团队的解决方案
从您的团队需要完成的工作开始，然后定义收集或执行层。
构建可追溯的网络语料库以进行模型开发
将批准的网站抓取到源链接的内容中，您的管道可以过滤、删除重复内容并为模型训练做好准备。
- 01
输入
批准的域、抓取范围和内容重用标准
- 02
过程
收集具有页面级来源的内容
- 03
结果
数据集发布前过滤和去重
选择您的团队需要的工作流程
采集指定范围的网站内容，用于训练语料、RAG、文档搜索和定期网站研究。
人工智能训练数据
将批准的网站抓取到源链接的内容中，您的管道可以过滤、删除重复内容并为模型训练做好准备。
RAG知识数据
将选定的网站抓取到您的检索管道可以通过可追踪引用进行分块、嵌入和刷新的内容中。
企业知识库
收集范围内的公司文档和公共资源，然后围绕团队的信息需求审查和组织内容。
内容迁移和站点捕获
抓取批准的网站部分以捕获页面内容、链接和元数据以进行迁移映射和迁移后检查。
全站变更监控
重复范围爬网并比较标准化内容快照以检测添加、删除和有意义的页面更改。
文档索引
抓取选定的文档路径并保留页面上下文，以进行导航感知搜索和可发现的技术参考。
市场情报语料库
Crawl 批准了公司和行业网站，为分析师提供了可比较的源链接材料，以进行经常性研究。
多模式训练数据
收集屏幕截图以及页面内容，以构建可追踪的视觉文本记录，以进行多模式研究和评估。
需要抓取规格和定价吗？
在集成之前查看当前设置、支持的选项和帐户条款。
从业务问题到落地行动
在输入、产品功能和可用结果之间定义明确的合同。
- 01
选择来源和范围
从一个决定以及支持该决定的来源或任务开始。
- 02
收集连接的页面
递归网站集合，支持 Markdown、HTML、链接和屏幕截图等内容格式。
- 03
规范化内容
源权限、范围、内容过滤、版本控制、索引和下游模型使用。
- 04
构建或刷新数据集
范围内的覆盖范围、重复率和保留的文档质量。
专为可靠的爬网工作流程而构建
从第一次运行开始，就将集合背景和结果质量作为设计的一部分。
- 种子→范围→页面
在规定范围内收集
对选定的网站区域使用递归收集。从小范围开始，在扩大爬网之前检查发现的页面。
- Markdown · HTML · 链接
选择有用的输出格式
Crawl 支持的内容格式包括 Markdown、HTML、链接和屏幕截图。选择您的消费应用程序所需的格式。
- 页面→文档→来源
保留来源身份
将每个保留的文档与其 URL 关联并捕获上下文。然后，您的管道可以维护版本控制和源链接引用。
- 过滤→去重→发布
准备下游内容
在索引或训练之前应用您自己的重复数据删除、内容过滤器和质量检查。收集页面是数据集准备的开始。