Loading Light/Dark Toggle
CRAWL

大規模なインテリジェント Web クロール

サイト内のリンクをたどり、URL を一括処理して、ワークフローに必要な出力形式を選択できます。

Web データを AI の学習、市場分析、ビジネスの意思決定に活用できます。

  • Web サイトの再帰クロール
  • URL の一括処理
  • CAPTCHA 解決機能を内蔵
  • 複数の出力形式
example.com

リンク先のページから利用可能なコンテンツへ

リンク先のページを検出
ページのコンテンツを一括抽出
getting-started.md
guides.md
reference.md
出力形式を選択

説明用の例 · 実際のデータ収集は行われていません

EC インテリジェンス、価格監視、ブランド分析の各チームから信頼されています

手元の URL から始めましょう

すべてのページがわかっている場合は一括送信。さらにページを見つけたい場合は、 クロールを開始してリンクをたどりましょう。

Node.js · @scrapeless-ai/sdk

npm install @scrapeless-ai/sdk

1 ページから、必要なコンテンツを。

URL を指定して形式を選択します。ページのメインコンテンツ抽出とナビゲーションのタイムアウトを設定できます。

単一ページのガイドを読む

URL リストを、まとめて処理。

1 回の SDK 呼び出しで既知の URL リストを渡し、バッチ全体に共通の抽出設定を適用できます。

一括処理のガイドを読む

1 つの起点から、さらに多くのページを発見。

開始 URL からリンク先のページをたどります。ページ数の上限と出力形式を設定し、サイトのコンテンツを収集できます。

Web サイトクロールのガイドを読む

アクセスレイヤーを標準搭載

リンクをたどり、範囲を管理

クロール範囲example.com/docs/
/docs/introduction範囲内
/docs/quickstart範囲内
/docs/reference範囲内
/blog/latest階層外
limit: 100allowBackwardLinks: false

Web サイトのクロール範囲は、 自分で設定。

開始 URL を選び、ページ数の上限を設定します。デフォルトでは、その URL の階層内のリンクのみをたどります。階層外にもアクセスするには、後方リンクを有効にします。

クロール設定を見る

ワークフローに合った形式を選択

source/example.com

A guide to better web data

Make web content useful for your application.

Read the docs
{
  "metadata": {
    "title": "A guide to better web data",
    "description": "Make web content useful for your application."
  },
  "markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
  "html": "<!doctype html>\n<html lang=\"en\">\n<head>\n  <title>A guide to better web data</title>\n  <meta name=\"description\"\n        content=\"Make web content useful for your application.\">\n</head>\n<body>\n  <main>\n    <h1>A guide to better web data</h1>\n    <p>Make web content useful for your application.</p>\n    <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n  </main>\n</body>\n</html>",
  "links": [
    "https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
  ]
}

さまざまな出力を試してみませんか?形式を切り替えて、同じ Web ページが Markdown、HTML、JSON などでどのように表示されるかをプレビューできます。

処理の連携を減らし、開発に集中

対象の指定から結果の取得まで、簡単な 3 ステップ。ジョブの送信とポーリングは SDK が処理します。

01

ページにアクセス

ページ、URL リスト、または Web サイトを指定し、出力形式とブラウザーオプションを選択します。

02

ジョブを実行

API は非同期で動作します。ジョブの送信とポーリングは SDK が処理します。

03

結果を活用

返されたデータを読み取ります。Web サイトのクロールでは、後続の処理を行う前に、各ページのステータスとエラーを確認してください。

Web コンテンツを活用

これらのワークフローを起点に、Crawl のさらなる活用方法を探しましょう。

より多くのソースとワークフローから、次のユースケースを見つけましょう。

さらに詳しく

利用規模に応じた従量課金

毎月のプリペイドの使用 – 基本レート:$0.09/時間 – 下記のサブスクリプションティアに応じて割引が適用されます。
Crawl

よくある質問

どのモードを使うべきですか?

1 つの URL には単一ページのスクレイピング、既知の URL リストには一括スクレイピング、リンク先のページを検出するには Web サイトのクロールを使用してください。

ポーリングループを自分で作る必要はありますか?

SDK を使用する場合は不要です。SDK がポーリングを処理し、ジョブの完了時にデータを返します。API を直接呼び出す場合は、ジョブを開始した後、完了するまでステータスを確認してください。

メインコンテンツだけを抽出できますか?

はい。onlyMainContent とともに、必要な出力形式とタイムアウトを設定してください。

クロールはすべてのリンクをたどりますか?

デフォルトでは、開始 URL の階層内のみをクロールします。allowBackwardLinks を設定すると階層外のリンクも含められ、limit でページ数の上限を設定できます。

ジョブが完了すれば、すべてのページが成功したことになりますか?

いいえ。クロール対象の各ページは完了または失敗の状態になり、個別のエラーを含む場合があります。利用前に各結果を確認してください。

Crawl の料金はどのように計算されますか?

Crawl はブラウザーの実行時間とプロキシ通信量に基づいて課金され、1 時間あたり $0.09 から、別途 1 GB あたり $1.80 がかかります。ページが大きい場合やセッションが長い場合は、使用量が増えることがあります。

どのような場合に Agent Browser を使うべきですか?

複雑な自動化ワークフローで Puppeteer や Playwright による直接制御が必要な場合は、Agent Browser を使用してください。Crawl は、より高レベルな抽出インターフェースを提供します。

Crawl で Web サイトをデータに変換

単一ページ、URL の一括処理、Web サイトのクロールから始めましょう。

ドキュメントを読む