Web サイトをソースにリンクされた知識に変える
範囲を指定してウェブサイトのコンテンツを収集し、学習用コーパス、RAG、ドキュメント検索、定期的なサイト調査に活用します。
クロールワークフロー
承認されたウェブサイトの範囲実例 · ライブコレクションは実行されていません
サイトから始める
ドメインまたは選択したドキュメント パスを中心にコレクションを整理します。
使用可能な形式を維持する
ダウンストリーム処理に一致するサポートされている出力を選択してください。
追跡可能なデータセットを構築する
フィルタリング、インデックス作成、更新を通じてページのアイデンティティを維持します。
すべてのクロールチームのためのソリューション
チームが完了する必要がある作業から始めて、コレクションまたは実行レイヤーを定義します。
モデル開発用の追跡可能な Web コーパスを構築する
承認されたサイトをソースにリンクされたコンテンツにクロールして、パイプラインでフィルター、重複排除、モデル トレーニングの準備を行うことができます。
- 01
入力
承認されたドメイン、クロール範囲、コンテンツ再利用基準
- 02
プロセス
ページレベルの出自を持つコンテンツを収集する
- 03
結果
データセットのリリース前にフィルタリングと重複排除を行う
チームに必要なワークフローを選択してください
範囲を指定してウェブサイトのコンテンツを収集し、学習用コーパス、RAG、ドキュメント検索、定期的なサイト調査に活用します。
AIトレーニングデータ
承認されたサイトをソースにリンクされたコンテンツにクロールして、パイプラインでフィルター、重複排除、モデル トレーニングの準備を行うことができます。
RAG ナレッジデータ
選択した Web サイトをコンテンツにクロールし、検索パイプラインでチャンク化、埋め込み、追跡可能な引用で更新できます。
エンタープライズナレッジベース
対象範囲を絞った企業ドキュメントと公開リソースを収集し、チームの情報ニーズに合わせて内容を確認して整理します。
コンテンツの移行とサイトのキャプチャ
承認されたサイト セクションをクロールして、移行マッピングと移行後のチェックのためにページ コンテンツ、リンク、メタデータをキャプチャします。
サイト全体の変更監視
範囲を限定したクロールを繰り返し、正規化されたコンテンツのスナップショットを比較して、追加、削除、意味のあるページ変更を検出します。
ドキュメントのインデックス作成
選択したドキュメント パスをクロールし、ナビゲーションを意識した検索や発見可能な技術リファレンスのためにページのコンテキストを保存します。
マーケット インテリジェンス コーパス
承認された企業および業界のサイトをクロールして、アナリストに定期的な調査のためにソースにリンクされた同等の資料を提供します。
マルチモーダルトレーニングデータ
ページ コンテンツと一緒にスクリーンショットを収集し、マルチモーダルな調査と評価のために追跡可能なビジュアル テキスト レコードを構築します。
クロールの仕様と価格が必要ですか?
統合する前に、現在の設定、サポートされているオプション、アカウント条件を確認してください。
ビジネス課題からアクションまで
入力、製品の機能、および使用可能な結果の間の明確な契約を定義します。
- 01
ソースと範囲を選択してください
まずは 1 つの決定と、それをサポートするソースまたはタスクから始めます。
- 02
接続されているページを収集する
マークダウン、HTML、リンク、スクリーンショットなど、サポートされているコンテンツ形式を含む再帰的な Web サイトのコレクション。
- 03
コンテンツを正規化する
ソースの権限、スコープ、コンテンツ フィルタリング、バージョン管理、インデックス作成、およびダウンストリーム モデルの使用。
- 04
データセットを構築または更新する
範囲内のカバレッジ、重複率、および維持されるドキュメントの品質。
信頼性の高いクロール ワークフロー向けに構築
最初の実行時から、コレクションのコンテキストと結果の品質を設計の一部にします。
- シード → スコープ → ページ
定義された範囲内で収集する
選択した Web サイト領域に対して再帰的収集を使用します。クロールを拡大する前に、小さな範囲から始めて、検出されたページを確認します。
- マークダウン・HTML・リンク
便利な出力形式を選択する
クロールは、マークダウン、HTML、リンク、スクリーンショットなどのコンテンツ形式をサポートします。使用するアプリケーションに必要な形式を選択します。
- ページ → ドキュメント → ソース
ソースのアイデンティティを維持する
保持されている各ドキュメントを URL に関連付け、コンテキストをキャプチャします。これにより、パイプラインはバージョン管理とソースにリンクされた引用を維持できるようになります。
- フィルタ → 重複排除 → 公開
ダウンストリームでコンテンツを準備する
インデックス作成やトレーニングの前に、独自の重複排除、コンテンツ フィルター、品質チェックを適用します。ページの収集はデータセットの準備の始まりです。