パイロット
1 つのワークフローを検証する
代表的なソース サンプルを実行し、使用可能な結果と例外の両方を検査します。拡張する前に受け入れ基準に同意します。
クロール/AIトレーニングデータ
モデル開発用の追跡可能な Web コーパスを構築する
承認されたサイトをソースにリンクされたコンテンツにクロールして、パイプラインでフィルター、重複排除、モデル トレーニングの準備を行うことができます。
- 許可されるクロール範囲を設定する
- ページレベルの出自を持つコンテンツを収集する
- データセットのリリース前にフィルタリングと重複排除を行う
範囲
Web サイトの境界を定義する
再帰的
接続されているページを収集する
フォーマット
サポートされている出力を選択してください
情報源
ページレベルの出自を保持する
AI トレーニング データの使用者
承認されたサイトをソースにリンクされたコンテンツにクロールして、パイプラインでフィルター、重複排除、モデル トレーニングの準備を行うことができます。
01
ML データチーム
ビジネス上の質問を定義し、収集した証拠を確認します。
02
研究室
反復可能なプロセスを使用して、重要な観察結果を比較します。
03
データセットエンジニア
信頼できるインプットを製品または研究のワークフローに接続します。
04
統合所有者
ソース出力を既存のアプリケーションにマップし、必須フィールドを検証します。
05
ワークフローオペレーター
例外を監視し、収集コンテキストを維持し、不完全な実行を確認します。
このワークフローが大規模になると破綻する理由
実用的なビジネス成果に影響を与える障害モードを考慮して設計します。
問題 01
文脈が失われる
繰り返されるナビゲーションや重複に近いページがコーパスを支配する可能性があります。データセットを組み立てる前に、有用なコンテンツをボイラープレートから分離します。
比較可能な観察を維持する問題 02
使用可能な結果が得られずに実行が終了する
完了したクロールでも、重要なパスが省略されたり、無関係なパスが含まれたりする可能性があります。発見されたページを範囲および対象範囲と調整します。
実際の結果を検証する問題 03
次のチームは結果を検証できない
ソースのコンテキストとレビュー可能な証拠を結果と一緒に保存します。本番収集の前に不完全なレコードを誰が処理するかを定義します。
ハンドオフを追跡可能にするワークフローで使用できるデータ
収集レイヤーと正規化されたビジネス記録を明確に定義してください。
- source_url
- 追跡可能性のために保持されるソースまたは宛先の参照。
- document_text
- 関連するソースパッセージはレビューと下流分析のために保持されます。
- content_hash
- パイプライン内の正規化されたコンテンツから計算されたハッシュ。
- rights_status
- 独自の文書化されたコンテンツ再利用のレビューステータス。
正規化レコード · サンプル
{
"source_url": "https://example.com/public-source",
"document_text": "Illustrative source passage for review",
"content_hash": "sha256:illustrative-content-hash",
"rights_status": "requires_rights_review"
}リテラルの Scrapeless API 応答ではなく、推奨されるダウンストリーム レコード。フィールドの抽出と正規化はアプリケーションに含まれます。
マークダウン、HTML、リンク、スクリーンショットなど、サポートされているコンテンツ形式を含む再帰的な Web サイトのコレクション。
実際の例。ドキュメントごとに 1 つのソース レコードを含む許可された技術テキスト コーパスを構築します。
このワークフローの実行方法
承認された入力から検証された結果までの集中的なシーケンス。
- 01
許可されるクロール範囲を設定する
まずは承認されたドメイン、クロール範囲、コンテンツ再利用基準から始めます。収集する前に、使用可能な最小限の結果を定義します。
- 02
ページレベルの出自を持つコンテンツを収集する
マークダウン、HTML、リンク、スクリーンショットなど、サポートされているコンテンツ形式を含む再帰的な Web サイトのコレクション。失敗と部分的な結果を別々に記録します。
- 03
データセットのリリース前にフィルタリングと重複排除を行う
範囲内のカバレッジ、重複率、および維持されるドキュメントの品質。次の段階に入る記録のために証拠を保管します。
チームの働き方に合わせて構築
製品機能はワークフローをサポートします。成功の意味はアプリケーションによって定義されます。
- シード → スコープ → ページ
定義された範囲内で収集する
選択した Web サイト領域に対して再帰的収集を使用します。クロールを拡大する前に、小さな範囲から始めて、検出されたページを確認します。
- マークダウン・HTML・リンク
便利な出力形式を選択する
クロールは、マークダウン、HTML、リンク、スクリーンショットなどのコンテンツ形式をサポートします。使用するアプリケーションに必要な形式を選択します。
- ページ → ドキュメント → ソース
ソースのアイデンティティを維持する
保持されている各ドキュメントを URL に関連付け、コンテキストをキャプチャします。これにより、パイプラインはバージョン管理とソースにリンクされた引用を維持できるようになります。
- フィルタ → 重複排除 → 公開
ダウンストリームでコンテンツを準備する
インデックス作成やトレーニングの前に、独自の重複排除、コンテンツ フィルター、品質チェックを適用します。ページの収集はデータセットの準備の始まりです。
ワークフローのコストを計画する
クロールのドキュメントでは、ブラウザのランタイムとプロキシ トラフィックがコスト要因として説明されています。範囲、レンダリングのニーズ、出力形式は消費に影響します。
無料で試す
生産
実質消費量を測定する
範囲内のカバレッジ、重複率、および維持されるドキュメントの品質。
規模
次のステージの範囲を広げる
ワークロードの組み合わせ、動作ウィンドウ、観察された消費量を提示して、要件に合ったセットアップについて話し合います。
これらはワークロード ステージであり、名前付きサブスクリプション プランではありません。現在のレートとアカウント制限が適用されます。
ワークフローの実行方法を選択する
自社の代表的なワークロードを使用して、責任と運用労力を比較します。
ワークフローの責任
クロールあり
自己管理スタック
手動プロセス
実行
範囲を指定したウェブサイト収集
チームは実行レイヤーを実行および保守します。
オペレーターは、収集またはブラウザーの各ステップを繰り返します。
ビジネスルール
ソースの権限、スコープ、コンテンツ フィルタリング、バージョン管理、インデックス作成、およびダウンストリーム モデルの使用。
アプリケーションに実装されます。
研究者または運営者によって申請されます。
承諾
ワークフロー内で結果とコンテンツのチェックを維持します。
ビルドの検証と例外処理。
キャプチャされた証拠を確認します。
コスト計画
製品の消費量と下流の処理を測定します。
インフラストラクチャとメンテナンスの労力を測定します。
完了したタスクごとに費やした時間を考慮します。
すでに実行しているスタックに接続します
ビジネス ロジックと分析を、結果を使用するシステムの近くに配置します。
Python
Node.js
Go
検索または RAG パイプライン
ソースの権限、スコープ、コンテンツ フィルタリング、バージョン管理、インデックス作成、およびダウンストリーム モデルの使用。現在のセットアップとサポートされているオプションについては、製品ドキュメントを開いてください。
Crawl ワークフローをさらに詳しく見る
同じ製品を使用する関連するワークフロー。それぞれに独自の入力と受け入れ基準があります。
現在のページ
AIトレーニングデータ
承認されたサイトをソースにリンクされたコンテンツにクロールして、パイプラインでフィルター、重複排除、モデル トレーニングの準備を行うことができます。
RAG ナレッジデータ
選択した Web サイトをコンテンツにクロールし、検索パイプラインでチャンク化、埋め込み、追跡可能な引用で更新できます。
エンタープライズナレッジベース
対象範囲を絞った企業ドキュメントと公開リソースを収集し、チームの情報ニーズに合わせて内容を確認して整理します。
コンテンツの移行とサイトのキャプチャ
承認されたサイト セクションをクロールして、移行マッピングと移行後のチェックのためにページ コンテンツ、リンク、メタデータをキャプチャします。
サイト全体の変更監視
範囲を限定したクロールを繰り返し、正規化されたコンテンツのスナップショットを比較して、追加、削除、意味のあるページ変更を検出します。
ドキュメントのインデックス作成
選択したドキュメント パスをクロールし、ナビゲーションを意識した検索や発見可能な技術リファレンスのためにページのコンテキストを保存します。
マーケット インテリジェンス コーパス
承認された企業および業界のサイトをクロールして、アナリストに定期的な調査のためにソースにリンクされた同等の資料を提供します。
マルチモーダルトレーニングデータ
ページ コンテンツと一緒にスクリーンショットを収集し、マルチモーダルな調査と評価のために追跡可能なビジュアル テキスト レコードを構築します。
さらに Crawl ワークフローをお探しですか?
トレーニング データ、RAG、ドキュメント検索、Web サイト調査にわたるさらに多くのユースケースを探索します。
チームが構築する前に尋ねる質問
明確な期待を持って最初の実行の範囲を決めます。