データ抽出とは何ですか？

Scrapeless Scraping API は、構造化された公共ウェブデータを返し、Scrapeless Universal Scraping API はカスタム抽出パイプライン用のページコンテンツを提供します。

データ抽出は、1つまたは複数のソースから選択された値を読み取り、他のシステムが使用できる形式で表現するプロセスです。抽出は、構造化されたデータベースの行をコピーしたり、JSONからフィールドを解析したり、ドキュメント内の値を認識したり、ウェブコンテンツをレコードに変換したりすることができます。

データ抽出はどのように機能しますか？

データ抽出はソース契約から始まり、ターゲットスキーマに準拠したレコードで終わります。

1. ソースを特定する。 必要なデータを含むデータベース、API、ファイル、ドキュメント、またはページを定義します。
2. フィールドを定義します。 名前、タイプ、必要な値、単位、および許可される欠落データを指定してください。
3. ソースを読む。 申し訳ありませんが、そのリクエストにはお応えできません。
4. ソース値をマップします。 ソース固有の場所を安定したフィールド名に変換し、起源を保持します。
5. レコードを検証します。 読み込み前に必要なフィールド、型、範囲、関係、および重複キーを確認してください。

馴染みのある抽出・変換・ロードモデルは、その境界を明確にします： ETLは元のソースからデータを読み取ることから始まります。それから、別のシステムに変換してロードします。

ウェブソースからの抽出は、しばしば次の後に始まります。 HTMLパースアルゴリズム クエリ可能なドキュメントツリーを作成します。APIベースの抽出は、定義されたリクエストおよび表現モデルに従います。 HTTPセマンティクス仕様.

どの種類のデータを抽出できますか？

データ抽出は、構造化された、半構造化された、及び非構造化されたソースで機能します。

一般的なデータ抽出方法

抽出方法は、直接クエリからモデル支援の文書処理まで様々です。

データ抽出とデータ変換

抽出はソースから値を読み取ります。変換はそれらの値またはその構造を変更します。

ページから価格文字列をコピーするのは抽出です。通貨記号を削除し、値を小数に変換し、通貨を標準化したり、日々の価格を集計するのは変換です。この境界を明確に保つことで、誤りを見つけやすくなります。

抽出されたデータを信頼できるものにするものは？

信頼できる抽出されたデータは、そのソースを追跡でき、スキーマに対して検証され、ドリフトを監視されている必要があります。

• 出所を保存してください。 適切な場合、レコードにソース識別子、収集時間、および抽出ルールを保存します。
• タイプと意味を検証します。 値は数値として解析でき、依然として間違った単位またはコンテキストを表す可能性があります。
• 完全性を測定します。 欠落した必須フィールド、重複するキー、予期しないレコード数を追跡します。
• コレクションを最小限に抑えます。 明示された目的に必要なフィールドのみを抽出し、保持コントロールを適用します。

抽出契約をどのように定義しますか？

抽出契約は、ソースが提供することが期待される内容と、パイプラインが出力することを約束する内容を説明します。これには、ソースシステム、アクセス方法、スキーマ、更新期待、所有権、およびレコードを有効にする条件を名付ける必要があります。これにより、抽出は一回限りのスクリプトから、下流のユーザーが依存できるインターフェースへと変わります。

各フィールドにはソース定義とターゲット定義が必要です。ソース定義はデータベースカラム、JSONパス、文書領域、DOMセレクタ、またはレスポンス属性を特定します。ターゲット定義は出力名、タイプ、ヌル性、単位、および正規化ルールを明示します。ソースがページタイプまたは領域によって意味を変える場合、契約はその変動を表すべきです。変換コードに隠すのではなく。

契約は失敗についても説明します。欠落したオプションフィールドは、読み取れないソース、サポートされていないページタイプ、または検証に失敗した必須フィールドとは異なります。異なるステータスは、下流システムが部分的なレコードを受け入れるか、レビューのために隔離するか、ロードを停止するかを決定できるようにします。

完全抽出と増分抽出

完全抽出はソースから承認されたデータセット全体を読み取ります。これは単純に考えられ、初回のロードや小さなソースには有用ですが、繰り返しの完全読み取りは変更されないデータを移動させ、ソースへの影響を制御しづらくする可能性があります。パイプラインは、完全なスナップショットが以前のレコードをどのように置き換えるか、または調整するかを定義する必要があります。

増分抽出は、既知のチェックポイント以降に新しいまたは変更されたデータのみを読み取ります。ソースは変更タイムスタンプ、シーケンス値、変更ストリーム、バージョン識別子、または安定したページネーションカーソルを公開する場合があります。チェックポイントは耐久性のある形で保存され、抽出されたバッチが検証され、安全に下流に渡された後にのみ進めるべきです。

ウェブソースは信頼できる変更フィードを欠くことがよくあります。その場合、増分の動作は、スケジュールされたページ発見、条件付きリクエスト、コンテンツハッシュ、または安定したレコードキーの比較を使用できます。盲点について明示してください：ページは変更され、観測間で以前の内容に戻ることができ、変更されたタイムスタンプは欠落しているか、不正確である可能性があります。

抽出の質はどのように測定されますか？

抽出の質にはいくつかの次元があります。完全性は、必須のレコードとフィールドが存在するかどうかを問います。正確性は、値がソースと一致し、その意味を保持しているかどうかを問います。一貫性は、同じルールがレコード全体に適用されているかどうかを問います。適時性は、データが意図された決定のために新鮮であるかどうかを問います。

フィールド、レコード、バッチ、およびソースレベルで質を測定します。フィールドチェックは無効なタイプや単位をキャッチします。レコードチェックは不可能な組み合わせや欠落した識別子をキャッチします。バッチチェックは予期しないボリュームや重複したキーをキャッチします。ソースチェックは、抽出された表現を代表するページ、APIレスポンス、またはデータベースクエリと比較します。

単一の成功フラグに依存しないでください。リクエストは、エラーページ、空の状態、または予期しないロケールを返しながら成功することがあります。パーサーは、意味的に間違ったフィールドを持つ構文的に有効な出力を生成できます。質のルールは、データが何を意味するかをテストしなければなりません。コードが実行されたかどうかだけでなく。

データの系譜をどのように保存しますか？

データの系譜は、各出力値をその起源と処理履歴に接続します。最低限、ソース識別子、収集時間、抽出バージョン、およびフィールドを生成したルールまたはパスを保持します。敏感なプロジェクトは追加の承認と保持メタデータが必要な場合がありますが、シンプルな公開データセットは、URLとキャプチャ識別子のみで済む場合があります。

系譜は、変換を生き延びたときに最も便利です。表示された価格文字列が正規化された小数と通貨コードになる場合、生の値またはそれへの追跡可能な参照を保存します。後のルールが変わると、レビュー担当者はソース修正を変換変更から区別できます。

バージョンスキーマと抽出マッピングを意図的に行います。新しいフィールドは後方互換性がある可能性がありますが、既存のフィールドの意味や単位を変更するには新しいスキーマバージョンが必要になる場合があります。下流の消費者は、各バッチを生成したバージョンを知るべきであり、マイグレーションが必要な時期を知るべきです。

抽出はセンシティブなデータをどのように扱いますか？

データ最小化はアクセス前に始まります。明示された目的に必要なフィールドをリストし、便利であるが不必要な値を除外してください。公の可視性はプライバシー、契約、セキュリティ、倫理的考慮事項を取り除くものではありません。特に、情報が人を特定したりプロファイル化したりできる場合はなおさらです。

抽出資格情報、未加工のキャプチャ、中間ファイル、最終データセットにアクセス制御を適用してください。ログには敏感なペイロードをコピーすることなく運用証拠を記録する必要があります。保持ルールは生のデータと派生データが削除されるタイミングを指定し、エクスポートは承認された消費者に制限するべきです。

ソースの条件、管轄、知的財産制約、および下流の使用事例をレビューしてください。プロジェクトが個人、制限された、または高影響データを含む場合は、収集前に法務、プライバシー、セキュリティのレビュー担当者を関与させてください。技術的に有効な抽出方法は、結果の使用が適切かどうかを決定するものではありません。

結論

データ抽出は、選択した値をソースから定義されたレコード構造に移動します。最も強力なワークフローは、スキーマ、出所、検証、および最小化を抽出設計の一部とみなし、後からクリーンアップを追加するのではなく、組み込むものです。