大規模なインテリジェント Web クロール
サイト内のリンクをたどり、URL を一括処理して、ワークフローに必要な出力形式を選択できます。
Web データを AI の学習、市場分析、ビジネスの意思決定に活用できます。
リンク先のページから利用可能なコンテンツへ
説明用の例 · 実際のデータ収集は行われていません
手元の URL から始めましょう
すべてのページがわかっている場合は一括送信。さらにページを見つけたい場合は、 クロールを開始してリンクをたどりましょう。
Node.js · @scrapeless-ai/sdk
import { ScrapingCrawl } from "@scrapeless-ai/sdk";
const client = new ScrapingCrawl({
apiKey: "YOUR_API_KEY",
});
const result = await client.scrapeUrl(
"https://example.com",
{
formats: ["markdown", "html", "links"],
onlyMainContent: true,
timeout: 15000,
}
);
console.log(result);npm install @scrapeless-ai/sdk
1 ページから、必要なコンテンツを。
URL を指定して形式を選択します。ページのメインコンテンツ抽出とナビゲーションのタイムアウトを設定できます。
URL リストを、まとめて処理。
1 回の SDK 呼び出しで既知の URL リストを渡し、バッチ全体に共通の抽出設定を適用できます。
1 つの起点から、さらに多くのページを発見。
開始 URL からリンク先のページをたどります。ページ数の上限と出力形式を設定し、サイトのコンテンツを収集できます。
アクセスレイヤーを標準搭載
リンクをたどり、範囲を管理
Web サイトのクロール範囲は、 自分で設定。
開始 URL を選び、ページ数の上限を設定します。デフォルトでは、その URL の階層内のリンクのみをたどります。階層外にもアクセスするには、後方リンクを有効にします。
ワークフローに合った形式を選択
A guide to better web data
Make web content useful for your application.
{
"metadata": {
"title": "A guide to better web data",
"description": "Make web content useful for your application."
},
"markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
"html": "<!doctype html>\n<html lang=\"en\">\n<head>\n <title>A guide to better web data</title>\n <meta name=\"description\"\n content=\"Make web content useful for your application.\">\n</head>\n<body>\n <main>\n <h1>A guide to better web data</h1>\n <p>Make web content useful for your application.</p>\n <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n </main>\n</body>\n</html>",
"links": [
"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
]
}さまざまな出力を試してみませんか?形式を切り替えて、同じ Web ページが Markdown、HTML、JSON などでどのように表示されるかをプレビューできます。
処理の連携を減らし、開発に集中
対象の指定から結果の取得まで、簡単な 3 ステップ。ジョブの送信とポーリングは SDK が処理します。
ページにアクセス
ページ、URL リスト、または Web サイトを指定し、出力形式とブラウザーオプションを選択します。
ジョブを実行
API は非同期で動作します。ジョブの送信とポーリングは SDK が処理します。
結果を活用
返されたデータを読み取ります。Web サイトのクロールでは、後続の処理を行う前に、各ページのステータスとエラーを確認してください。
Web コンテンツを活用
これらのワークフローを起点に、Crawl のさらなる活用方法を探しましょう。
AI 学習データとコーパス
AI モデルの学習用に Web コンテンツを収集し、構造化します。
RAG 向けナレッジデータ
検索拡張生成に使う Web コンテンツを準備します。
企業向けナレッジベース
Web コンテンツを再利用可能な企業ナレッジとして整理します。
より多くのソースとワークフローから、次のユースケースを見つけましょう。
さらに詳しく