ウェブク crawler とは何ですか？クローリングとスクレイピングの違い
Web Data Collection Specialist
TL;DR:
- ウェブクローラーは、既知のURLを訪れ、明示的なスコープルールに従ってリンクをたどるプログラムです。 発見がその定義的な仕事です。
- クロールとスクレイピングは関連していますが異なります。 クローラーはURLセットを構築し、スクレイパーは選択したページを構造化されたレコードに変換します。
- 現代のクロールにはレンダリングが必要な場合があります。 静的HTMLは通常のリンクには十分ですが、クライアントレンダリングのナビゲーションは、発見が続けられる前にクラウドブラウザーを必要とすることがあります。
- 生産クローラーは制御されたループです。 それはURLを正規化し、重複を取り除き、ソースポリシーを尊重し、再訪をスケジュールし、選択されたページを抽出と保存に送ります。
ウェブクローラーとは？
ウェブクローラーは、1つまたは複数の種URLから始まり、ページを取得し、追加のURLを発見し、後の訪問のために適格なURLをスケジュールする自動化されたクライアントです。
クローラーは、見るすべてのページを収集する必要はありません。そのスコープルールは、どのホスト、パス、ファイルタイプ、クエリパラメーター、およびリンク関係がクロールに属するかを決定します。検索エンジンはクローラーを使用してインデックス用のドキュメントを発見し、データチームはフォーカスされたクローラーを使用してサイトセクションをマッピングしたり、カタログを監視したり、抽出パイプラインにフィードしたりします。
ロボット排除プロトコルは、クローラーを自動化されたクライアントとして定義し、サービスオーナーがクロールルールを表現するための標準的な方法を定義します。これらのルールはクロールを導きます; 権限やソース条件の代替物ではありません。
ウェブクローラーの動作原理
ウェブクローラーは、メモリを持つキューとして機能します。
- 種。 承認された開始URLを追加します。
- 取得。 ページをリクエストし、レスポンスを記録します。
- 発見。 リンクや他の安定した発見表面を読み取ります。
- 正規化。 相対リンクを解決し、断片を取り除き、クエリパラメータポリシーを適用します。
- フィルタ。 許可されたホストとパスの内側にURLを保持します。
- 重複除去。 既に見たURLやコンテンツをスキップします。
- スケジュール。 新しいURLをフロンティアに追加し、再訪の優先順位を設定します。
- 引き渡し。 選択されたページをレンダリング、抽出、検証、および保存に送ります。
取得ステップは通常のウェブセマンティクスに従います。HTTPセマンティクスは、クローラーが正しく解釈する必要があるステータスコード、表現、リダイレクト、キャッシュ動作、およびリクエストメソッドを定義します。
URLフロンティア
URLフロンティアは、クローラーの保留作業セットです。
それは先入れ先出しのキュー以上のものが必要です。生産クローラーは通常、各URLにソース、発見時間、深度、優先順位、および次の適格時間を付加します。これにより、クロールが観察可能になり、1つの密集したサイトセクションが実行を独占するのを防ぎます。
リンク発見
HTMLアンカーは一般的な発見表面ですが、クローラーにはリンクの正確な定義が必要です。HTMLリンクモデルは、ハイパーリンクと外部リソースリンクを区別し、すべてのhrefがフロンティアに入るべきではない理由を説明するのに役立ちます。
サイトマップ、フィード、構造化されたエンドポイント、および耐久性のあるURLパターンは、可視ナビゲーションよりも良い種になることがあります。レンダリングとパースの曖昧さを最小限に抑えたソースを優先してください。
ウェブクローラー vs ウェブスクレイパー
ウェブクローラーはページを発見し、ウェブスクレイパーはページからフィールドを抽出します。
| 質問 | ウェブクローラー | ウェブスクレイパー |
|---|---|---|
| 主な出力 | 正規のURLとクロールメタデータ | 構造化されたレコード |
| 主な決定 | 次にどのページを訪れるべきか？ | どのフィールドを抽出すべきか？ |
| 一般的な状態 | フロンティア、訪問セット、再訪スケジュール | スキーマバージョン、パーサールール、検証状態 |
| 一般的な失敗 | 見逃したり重複したURL | 欠落、ずれ、または不正確なフィールド |
| 自然な引き渡し | 処理のために選択されたページ | 保存の準備ができた検証済みレコード |
2つのコンポーネントはしばしば一緒に実行されます。発見は製品ページを特定し、抽出はその名前、可用性、または価格を読み取ります。境界を明確に保つことにより、失敗の診断が容易になります。
Scrapelessでスクレイピングを始める
Scrapelessでウェブスクレイピングと自動化ワークフローを活性化しましょう！
今日登録して、$5の無料クレジットを受け取ろう — クレジットカードは不要です。今すぐScrapelessダッシュボードで無料クレジットを請求してください。
ウェブクローラーの種類
クローラーの種類は、主にスコープ、配置、およびスケジューリングポリシーによって異なります。
広範なクローラー
広範なクローラーは、多くのホストにわたってページを発見します。彼らは、URLスペースが無制限であるため、厳格なホストスケジューリング、大きな重複排除ストア、および慎重な優先順位付けが必要です。
フォーカスクローラー
フォーカスクローラーは、トピック、ドメイン、またはパスのセット内に留まります。彼らは、明確な目的に対して発見されたURLを評価し、無関係な枝を早期に廃棄します。
インクリメンタルクローラー
インクリメンタルクローラーは、変更を検出するために既知のページを再訪します。彼らの重要な決定は、発見の深さではなく、ソースの重要性と観察された変更頻度に基づく再訪のタイミングです。
クラウドウェブクローラー
クラウドウェブクローラーは、管理されたワーカー全体にフェッチまたはレンダリングを分散しながら、一つの論理的なフロンティアを維持します。クラウドの配置はクローラーアルゴリズムを変更せず、容量、ブラウザプロセス、およびネットワークアクセスの操作方法を変更します。
JavaScriptレンダリングページのクローリング
JavaScriptレンダリングページは、クローラーがレスポンスHTMLとポストレンダー文書を区別することを必要とします。
一部のアプリケーションは、初期レスポンスでナビゲーションリンクを返します。他のアプリケーションは、スクリプトが実行された後またはユーザーのアクションの後にのみそれらを作成します。関連する発見面がレスポンスHTMLに存在しない場合、クローラーはリンクを抽出する前にレンダーステップが必要です。
Scrapeless Scraping Browserは、クライアントサイドでの実行が必要なページのためのクラウドブラウザを提供します。クローラーは依然として選択的にレンダリングするべきです。リンクまたはコンテンツがJavaScriptに依存する枝をレンダリングし、レスポンスが必要な構造を既に含んでいる場合は通常のHTTPフェッチを使用します。
これにより、実用的なパイプラインが生成されます：
発見 → 必要に応じてレンダリング → 抽出 → 検証 → 保存
発見はどこに行くかを決定します。レンダリングはページの状態を明らかにします。抽出は記録を生成します。検証は、成功したリクエストが不正確なデータに変わるのを防ぎます。
一般的なウェブクローラーの使用例
ウェブクローラーは、URLセットが問題の一部である場合に役立ちます。
- 検索インデキシング。 文書を発見し、変更があったかもしれないページを再訪します。
- サイト在庫。 正式ページ、リダイレクト、メタデータ、および壊れたパスをマッピングします。
- カタログ監視。 新しく追加されたまたは削除された公開商品ページを検出します。
- 研究収集。 ソースと発見メタデータを持つ限られたコーパスを構築します。
- 変更検出。 重要なページを定期的な比較のためにスケジュールします。
- データパイプライン。 適格なページを別のスクレーパーとバリデーターに供給します。
検索クローラーは、発見の役割を明確に示しています。 Googleのクローラー概要は、クローラーのアイデンティティと、サイト運営者がそれを検証できる方法を文書化していますが、他のクローラーが使用する一般的なフロンティアモデルは変更されません。
倫理的なクローリングとクローリングの境界
責任あるクローリングは、狭く文書化された範囲から始まります。
正当な目的に役立つ公開アクセス可能なページを収集します。ソースの条件、ロボットルール、および適用される法律を確認します。適切な場合にクローラーを正直に特定し、ホストごとの負荷を制限し、アクセス制御を尊重し、プライベートまたは制限された領域を避けます。
各記録に起源を保存します：正式なURL、フェッチ時間、レスポンスステータス、およびパーサーバージョン。データの最小化も重要です。ユースケースが小さなフィールドのセットを必要とする場合、パイプラインは無関係な個人またはセンシティブなコンテンツを保持すべきではありません。
クローラースタックの選択
最も要求される段階からクローラースタックを選択し、簡単な段階を単純に保ちます。
安定したレスポンスHTMLにリンクが存在する場合はHTTPファーストのクローラーを使用します。ページが必要なリンクをクライアントサイドで作成する場合は、選択的にブラウザレンダリングを追加します。発見と抽出を分けておき、一方が変更されても他方にエラーが隠れないようにします。
ネットワーク配置と運用モデルについては、クラウドプロキシ用語集が、仲介者がクローラー自体とどのように異なるかを説明しています。ブラウザレンダリングされた枝が作業負荷の一部になる場合は、Scrapelessの価格設定を確認してください。
結論：発見をその独自のシステムとして扱う
ウェブクローラーは、すべてのデータ収集タスクの同義語ではなく、制御された発見ループです。
フロンティアを定義し、発見されたすべてのURLを正規化およびフィルタリングし、発見面が必要とする場所でのみレンダリングし、選択されたページを別の抽出レイヤーに渡します。その境界は、カバレッジ、アクセス、およびデータ品質の問題を明らかにします。
クラウドウェブクローラーを構築する準備はできましたか？
私たちのコミュニティに参加して、無料プランを取得し、発見と抽出パイプラインを構築している開発者とつながりましょう: Discord · Telegram。
app.scrapeless.com にサインアップして、クローリングのJavaScript依存ブランチでブラウザレンダリングをテストしてください。
FAQ
Q: ウェブクローラーの主な目的は何ですか？
ウェブクローラーの主な目的は、シードURLおよびリンクから適格なウェブページを発見することです。インデクシングまたは構造化抽出は、発見の後に行われます。
Q: クローリングとスクレイピングの違いは何ですか？
クローリングはページを見つけてスケジュールしますが、スクレイピングは選択されたページから特定のフィールドを抽出します。データパイプラインは、しばしば両者を順番に使用します。
Q: ウェブクローラーにはブラウザが必要ですか？
ウェブクローラーは、クライアントサイドのJavaScriptが実行された後に必要なリンクやページの状態が表示される場合にのみ、ブラウザが必要です。静的な発見は、可能であれば応答HTMLまたは他の安定したソースを使用すべきです。
Q: robots.txtはクローラーに対して何をしますか？
robots.txtは、自動クライアントに対するサービス所有者のクローリングの好みを伝えます。それはクローリングをガイドしますが、アクセスを許可したり、条件、認可、または法的レビューを置き換えたりするものではありません。
Q: クローラーは重複ページを避けるにはどうすればよいですか？
クローラーは、URLを正規化し、クエリパラメータポリシーを適用し、訪問済みの識別子を追跡し、オプションでコンテンツフィンガープリンツを比較することによって重複を避けます。カノニカルヒントは判断を知らせることができますが、クローラーは自分のポリシーを必要とします。
Q: クローラーはウェブサイト全体を発見できますか？
クローラーは、自身のスコープおよびアクセスルールに合ったウェブサイトの到達可能な部分を発見できます。孤立ページ、ゲート付きルート、フォーム、クライアント専用ナビゲーション、無限のURL空間により、「全体」を実行前に定義する必要があります。
Scrapelessでは、適用される法律、規制、およびWebサイトのプライバシーポリシーを厳密に遵守しながら、公開されているデータのみにアクセスします。 このブログのコンテンツは、デモンストレーションのみを目的としており、違法または侵害の活動は含まれません。 このブログまたはサードパーティのリンクからの情報の使用に対するすべての責任を保証せず、放棄します。 スクレイピング活動に従事する前に、法律顧問に相談し、ターゲットウェブサイトの利用規約を確認するか、必要な許可を取得してください。
