CRAWL
大规模智能网站爬取
沿网站链接发现页面,批量处理 URL,并选择工作流所需的输出格式。
将网页数据用于 AI 训练、市场分析和业务决策。
example.com
从关联页面到可用内容
发现关联页面
批量提取页面内容
getting-started.md
guides.md
reference.md
选择输出格式
示意示例 · 当前未执行实时采集
从已有的 URL 开始
已掌握所有页面?批量提交即可。需要发现更多页面? 启动爬取,沿链接继续探索。
Node.js · @scrapeless-ai/sdk
import { ScrapingCrawl } from "@scrapeless-ai/sdk";
const client = new ScrapingCrawl({
apiKey: "YOUR_API_KEY",
});
const result = await client.scrapeUrl(
"https://example.com",
{
formats: ["markdown", "html", "links"],
onlyMainContent: true,
timeout: 15000,
}
);
console.log(result);npm install @scrapeless-ai/sdk
内置访问层
沿链接探索,控制爬取范围
爬取范围example.com/docs/
/docs/introduction范围内
/docs/quickstart范围内
/docs/reference范围内
/blog/latest层级之外
limit: 100allowBackwardLinks: false
网站爬取, 范围由你设定。
选择起始 URL 并限制页面数量。默认情况下,仅跟踪该 URL 层级内的链接;需要访问层级之外的页面时,可启用反向链接。
选择适合工作流的输出格式
source/example.com
A guide to better web data
Make web content useful for your application.
{
"metadata": {
"title": "A guide to better web data",
"description": "Make web content useful for your application."
},
"markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
"html": "<!doctype html>\n<html lang=\"en\">\n<head>\n <title>A guide to better web data</title>\n <meta name=\"description\"\n content=\"Make web content useful for your application.\">\n</head>\n<body>\n <main>\n <h1>A guide to better web data</h1>\n <p>Make web content useful for your application.</p>\n <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n </main>\n</body>\n</html>",
"links": [
"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
]
}想探索不同的输出结果?切换格式,预览同一网页以 Markdown、HTML、JSON 等格式呈现的效果。
减少编排,专注构建
从目标到结果,只需三个简单步骤,任务提交与轮询均由 SDK 处理。
01
访问页面
选择单个页面、URL 列表或整个网站,再选择输出格式和浏览器选项。
02
让任务运行
API 异步运行,SDK 会为你处理任务提交与轮询。
03
使用结果
读取返回的数据。对于网站爬取,请在后续处理前检查每个页面的状态和错误。
让网页内容发挥价值
从这些工作流入手,探索 Crawl 的更多用法。
更多来源,更多工作流。发现你的下一个应用场景。
探索更多按使用量计费,随业务灵活扩展
每月预付费使用量 – 基础费率:$0.09/小时 – 根据下方订阅层级享受折扣。
Crawl
