Loading Light/Dark Toggle
CRAWL

大规模智能网站爬取

沿网站链接发现页面,批量处理 URL,并选择工作流所需的输出格式。

将网页数据用于 AI 训练、市场分析和业务决策。

  • 递归爬取网站
  • 批量处理 URL
  • 内置验证码解决功能
  • 多种输出格式
example.com

从关联页面到可用内容

发现关联页面
批量提取页面内容
getting-started.md
guides.md
reference.md
选择输出格式

示意示例 · 当前未执行实时采集

深受电商情报、价格监控和品牌分析团队信赖

从已有的 URL 开始

已掌握所有页面?批量提交即可。需要发现更多页面? 启动爬取,沿链接继续探索。

Node.js · @scrapeless-ai/sdk

npm install @scrapeless-ai/sdk

一个页面,提取所需内容。

提供 URL 并选择格式。为页面配置正文提取和导航超时时间。

阅读单页抓取指南

一组 URL,一次批量处理。

通过一次 SDK 调用传入已知 URL 列表,为整批页面应用统一的提取设置。

阅读批量抓取指南

一个起点,发现更多页面。

从起始 URL 沿链接发现页面。设置页面数量上限、选择格式并采集网站内容。

阅读网站爬取指南

内置访问层

沿链接探索,控制爬取范围

爬取范围example.com/docs/
/docs/introduction范围内
/docs/quickstart范围内
/docs/reference范围内
/blog/latest层级之外
limit: 100allowBackwardLinks: false

网站爬取, 范围由你设定。

选择起始 URL 并限制页面数量。默认情况下,仅跟踪该 URL 层级内的链接;需要访问层级之外的页面时,可启用反向链接。

探索爬取配置

选择适合工作流的输出格式

source/example.com

A guide to better web data

Make web content useful for your application.

Read the docs
{
  "metadata": {
    "title": "A guide to better web data",
    "description": "Make web content useful for your application."
  },
  "markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
  "html": "<!doctype html>\n<html lang=\"en\">\n<head>\n  <title>A guide to better web data</title>\n  <meta name=\"description\"\n        content=\"Make web content useful for your application.\">\n</head>\n<body>\n  <main>\n    <h1>A guide to better web data</h1>\n    <p>Make web content useful for your application.</p>\n    <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n  </main>\n</body>\n</html>",
  "links": [
    "https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
  ]
}

想探索不同的输出结果?切换格式,预览同一网页以 Markdown、HTML、JSON 等格式呈现的效果。

减少编排,专注构建

从目标到结果,只需三个简单步骤,任务提交与轮询均由 SDK 处理。

01

访问页面

选择单个页面、URL 列表或整个网站,再选择输出格式和浏览器选项。

02

让任务运行

API 异步运行,SDK 会为你处理任务提交与轮询。

03

使用结果

读取返回的数据。对于网站爬取,请在后续处理前检查每个页面的状态和错误。

让网页内容发挥价值

从这些工作流入手,探索 Crawl 的更多用法。

更多来源,更多工作流。发现你的下一个应用场景。

探索更多

按使用量计费,随业务灵活扩展

每月预付费使用量 – 基础费率:$0.09/小时 – 根据下方订阅层级享受折扣。
Crawl

常见问题解答

我应该使用哪种模式?

单个 URL 使用单页抓取,已知 URL 列表使用批量抓取,需要发现关联页面时使用网站爬取。

需要自行编写轮询循环吗?

使用 SDK 时无需自行编写,SDK 会处理轮询,并在任务完成后返回数据。直接调用 API 时,需要先启动任务,再持续检查状态直至完成。

可以只提取正文吗?

可以。配置 onlyMainContent,并设置所需的输出格式和超时时间。

爬取会跟踪所有链接吗?

默认情况下,爬取范围限制在起始 URL 的层级内。配置 allowBackwardLinks 可包含层级之外的链接,并使用 limit 限制页面数量。

任务完成是否意味着所有页面都成功了?

不是。爬取中的每个页面都可能处于完成或失败状态,并可能包含各自的错误信息。使用前请检查每条结果。

Crawl 如何计费?

Crawl 按浏览器运行时长和代理流量计费,起价为每小时 $0.09,另加每 GB $1.80。页面越大、会话时间越长,消耗可能越高。

什么情况下应该使用 Agent Browser?

如果复杂自动化工作流需要直接通过 Puppeteer 或 Playwright 控制浏览器,请使用 Agent Browser。Crawl 则提供更高层级的内容提取接口。

用 Crawl 将网站转化为数据

从单个页面、一批 URL 或整个网站开始。

阅读文档