ウェブアンロッカーのベンチマーク方法：再現可能なテストデザイン
Senior Cybersecurity Analyst
TL;DR:
- ウェブアンロッカーのベンチマークはHTTPステータスだけでなく、使用可能なコンテンツを測定しなければならない。 レスポンスは、チャレンジページ、空のシェル、間違った地域、または不完全なレンダリングを含む場合でも、技術的には成功することがある。
- URLサンプルはテスト前に層別化する必要がある。 静的ページ、サーバーでレンダリングされたページ、JavaScriptアプリケーション、リダイレクト、およびトラフィック検証チャレンジを分けて、一つの簡単なカテゴリーが別のものを隠すことができないようにする。
- レイテンシは分布が必要である。 レスポンスとコンテンツ成功率に加えて、中央値と高いパーセンタイルを報告する。
- 効果的なコストは使用可能なデリバリーに依存する。 観察された支出を、コンテンツチェックを通過するレスポンスで割り、送信された試行で割ってはいけない。
- 再現性はマニフェストから来る。 各テストセルについて、URLカテゴリー、期待されるマーカー、レンダリング要件、地域、リクエスト設定、および測定コードを記録する。
イントロダクション: ベンチマークはテスト契約である
ウェブアンロッカーベンチマークは、「成功」が単にエンドポイントがレスポンスを返したことを意味する場合に失敗する。
有用な質問は、サービスがダウンサイドのパーサーが使用できる形で意図された公開コンテンツを提供したかどうかである。それにはテスト契約が必要である: 知られているURL、カテゴリーラベル、期待されるコンテンツマーカー、一貫したリクエスト設定、制限されたサンプル数、および結果が見える前に決定されたスコアリングルール。
このガイドは、Scrapeless Web Unlockerのためにその契約を構築する。現在の unlocker.webunlocker アクターと POST /api/v2/unlocker/request サーフェスを使用しているが、デザインは任意の管理されたアンロッキングサービスにも移植可能である。
ウェブアンロッカーの役割
ウェブアンロッカーはターゲットURLを受け入れ、そのリクエストによって必要なネットワークおよびブラウザの作業を管理した後に公開ページコンテンツを返す。
これはプロキシアドレスを提供することとは異なる。プロキシはネットワークパスを変更する; 呼び出しアプリケーションはヘッダー、ブラウザの実行、クッキー、ページの完全性チェック、およびレスポンスのパースを依然として所有する。管理されたウェブアンロッカーは、高レベルのリクエストを受け入れ、APIを通じてコンテンツを返す。
Scrapeless Web Unlocker は actor、input、および proxy オブジェクトを受け入れる。現在のエンドポイントは、unlocker.webunlocker アクター、ターゲットURL、HTTPメソッド、リダイレクト制御、オプショナルなリクエストヘッダー、およびプロキシ国をサポートしている。このプロダクトは、HTML、JSON、Markdown、またはスクリーンショットを返すことができ、成功したリクエストのみが請求される。
ベンチマークは提供されたアーティファクトを評価すべきであり、それを取得するために使用されたインフラストラクチャから品質を推測してはいけない。
リクエストを送信する前に成功を定義する
ベンチマークの結果は四つの独立したチェックを通過すべきである。
- トランスポートの成功。 Scrapeless APIリクエストは、HTTPセマンティクス標準の下で成功したHTTPステータスで完了する。
- ターゲット識別。 レスポンスは意図されたURLまたは許可された最終URLに対応している。
- コンテンツの成功。 ターゲット固有のマーカーが現れ、既知のブロックページマーカーが存在しない。
- 完全性。 配信されたボディには、そのテストケースに必要なセクション、レコードカウントのフロア、またはレンダリングされた要素が含まれている。
これらのチェックを生の結果で別々に保持する。コンテンツマーカーが欠落している状態でのトランスポートの成功は、使用可能なデリバリーではない。地理が要件の一部である場合、無効なマーカーが間違ったロケールを持っていることも失敗である。
層別化されたURLサンプルを構築する
再現可能なウェブアンロッカーベンチマークは、製品ワークロードを表すカテゴリから始まる。
| カテゴリー | テスト項目 | マニフェストフィールド |
|---|---|---|
| 静的制御 | 基本的なルーティングとレスポンスの整合性 | URL、期待されるタイトルマーカー |
| サーバーでレンダリングされたページ | 正常なアプリケーションからのHTML配信 | URL、安定した見出しマーカー |
| JavaScriptでレンダリングされたページ | ブラウザの実行と水和されたコンテンツ | URL、レンダリングマーカー、レンダリング要件 |
| リダイレクトパス | 最終URLの処理 | 開始URL、許可された最終URL |
| トラフィック検証ページ | 管理されたアクセス処理 | URL、期待されるコンテンツマーカー、既知のチャレンジマーカー |
| 地域ページ | 地理特有の配信 | URL、プロキシ国、ロケールマーカー |
すべてのURLを一つのドメインまたは一つの難易度クラスから引き出さないこと。製品ワークロードが電子商取引、ニュース、検索、ドキュメントである場合、それらのグループを結果に明示的に保持するべきである。各グループは同じ数のリクエストを寄与すべきか、明示的な製品重みを持つべきである。
ベンチマークマニフェストはバージョン管理に属すべきである。行には case_id、category、url、expected_marker、blocked_markers、proxy_country、redirect、および render_required を含めるべきである。これにより、後の比較が同じターゲットとスコアリングロジックを使用できるようになる。
尊重すべきターゲットの条件とアクセスポリシー。ロボット排除プロトコルは、サイト所有者がクローラーの好みを伝える標準的な方法を定義していますが、法的なレビューやサイト固有の承認を置き換えるものではありません。
制御されたWebアンロッカー要求を送信する
現在のWebアンロッカー要求は、1つのエンドポイントとx-api-tokenヘッダー内のAPIキーを使用します。
注意：ベンチマークブロックには、Scrapeless APIキーとPython
requestsパッケージが必要です。使用と請求のエクスポートが分析されるアカウントで実行してください。
python
import csv
import os
import statistics
import time
from pathlib import Path
import requests
ENDPOINT = "https://api.scrapeless.com/api/v2/unlocker/request"
API_KEY = os.environ["SCRAPELESS_API_KEY"]
SAMPLES_PER_CASE = 3
CASES = [
{
"case_id": "static-control",
"category": "static",
"url": "https://example.com",
"expected_marker": "Example Domain",
"proxy_country": "ANY",
"redirect": False,
},
{
"case_id": "html-control",
"category": "server-rendered",
"url": "https://httpbin.io/html",
"expected_marker": "Herman Melville",
"proxy_country": "ANY",
"redirect": False,
},
{
"case_id": "js-page",
"category": "javascript",
"url": "https://quotes.toscrape.com/js/",
"expected_marker": "Quotes to Scrape",
"proxy_country": "ANY",
"redirect": False,
},
{
"case_id": "redirect-control",
"category": "redirect",
"url": "https://httpbin.io/redirect/1",
"expected_marker": "url",
"proxy_country": "ANY",
"redirect": True,
},
]
def run_case(case):
payload = {
"actor": "unlocker.webunlocker",
"input": {
"url": case["url"],
"method": "GET",
"redirect": case["redirect"],
},
"proxy": {"country": case["proxy_country"]},
}
started = time.perf_counter()
response = requests.post(
ENDPOINT,
headers={
"Content-Type": "application/json",
"x-api-token": API_KEY,
},
json=payload,
timeout=120,
)
elapsed_ms = round((time.perf_counter() - started) * 1000, 1)
response.raise_for_status()
body = response.text
return {
"case_id": case["case_id"],
"category": case["category"],
"elapsed_ms": elapsed_ms,
"api_status": response.status_code,
"body_bytes": len(response.content),
"marker_found": case["expected_marker"] in body,
}
rows = []
for case in CASES:
for sample in range(1, SAMPLES_PER_CASE + 1):
row = run_case(case)
row["sample"] = sample
rows.append(row)
Path("benchmark-results.csv").write_text("", encoding="utf-8")
with open("benchmark-results.csv", "w", newline="", encoding="utf-8") as handle:
writer = csv.DictWriter(handle, fieldnames=rows[0].keys())
writer.writeheader()
writer.writerows(rows)
latencies = [row["elapsed_ms"] for row in rows]
usable = [row for row in rows if row["marker_found"]]
print({
"requests": len(rows),
"usable_deliveries": len(usable),
"response_rate": len(rows) / len(rows),
"content_success_rate": len(usable) / len(rows),
"latency_p50_ms": statistics.median(latencies),
"result_file": "benchmark-results.csv",
})サンプルは意図的に小さく公開されています。ハーネスとスコアリングルールが安定した後にのみ、承認されたプロダクションターゲットで拡張してください。
Scrapelessでスクレイピングを開始する
Scrapelessを使ってウェブスクレイピングと自動化ワークフローを強化しましょう！
今日サインアップして**$5の無料クレジット**を獲得しましょう — クレジットカードは不要です。Scrapelessダッシュボードで今すぐ無料クレジットを取得してください。
レスポンス率とコンテンツ成功を別々に測定する
レスポンス率は、APIが成功裏に完了したかどうかを測定します。コンテンツ成功率は、返されたアーティファクトがターゲット固有のチェックを通過したかどうかを測定します。
これらの公式を使用してください：
- レスポンス率 = 成功したAPIレスポンス / 総リクエスト数。
- コンテンツ成功率 = アイデンティティ、マーカー、ブロックページ、および完全性チェックを通過したレスポンス / 総リクエスト数。
- 条件付きコンテンツ品質 = 利用可能な配信 / 成功したAPIレスポンス。
3番目の比率は、サービスが技術的には成功したが使用できないコンテンツを返すかどうかを説明します。missing_marker、known_challenge_marker、wrong_final_url、またはbelow_record_floorのような、すべての失敗したコンテンツチェックの生の理由を保持してください。
固定テキストマーカーは出発点に過ぎません。プロダクトグリッドの場合、少なくとも1つの安定したプロダクトコンテナと、ダウンストリームスキーマが必要とするフィールドを要求します。JavaScriptページの場合、レンダリング前に存在するシェル見出しではなく、ハイドレートされた要素を主張します。
レイテンシをp50およびp95として報告する
レイテンシは分布として報告するべきです。なぜなら、単一の平均は作業負荷の遅い端を隠すからです。
APIリクエスト直前から完全なレスポンスボディが利用可能になるまでの経過時間を記録します。典型的なリクエストについてp50を報告し、遅い端についてp95を報告します。W3Cナビゲーショントラッキングモデルは、なぜナビゲーションが異なるタイミングフェーズを含むのかを説明しますが、外部APIベンチマークはプロバイダーが同等のフェーズデータを公開しない限り、一貫したエンドツーエンドの時計を使用するべきです。
完全なサンプルとカテゴリごとのパーセンタイルを計算します。強い静的結果は、弱いJavaScriptまたは地域的な分布を隠すべきではありません。すべてのパーセンタイルの横にサンプルサイズを公開し、異なる計算方法によって生成されたパーセンタイルを比較することを避けてください。
別のオペレーターが同じp50およびp95計算を再現できるように、結果の横にクオンタイルメソッドを文書化します。Python統計ドキュメントは、メソッドの選択を明確にし、その計算を文書化するときの便利な中立的リファレンスになります。
使用可能な配信あたりの実効コストを計算する
実効コストは、請求を作業負荷の結果に変換します。
測定ウィンドウには、マーケティングページからコピーした価格でリクエストを乗じるのではなく、請求書または使用エクスポートを使用してください。その後、計算します：
effective cost per usable delivery = observed spend / usable deliveries
プロダクションパイプラインがレコードを抽出する場合、2回目の測定を追加します：
effective cost per accepted record = observed spend / records passing schema checks
これにより、ベンチマークはビジネスタスクに整合されます。リクエストの価格が低くても、レスポンスがパイプラインに必要なフィールドを欠いている場合は意味がありません。Scrapelessは成功したWebアンロッカーリクエストのみを請求しますが、ベンチマークは配信を使用可能と呼び出す前に独自のコンテンツ品質定義を適用するべきです。
JavaScriptの完全性を確認する
JavaScriptの完全性は、返されたコンテンツにクライアント実行後に生成された状態が含まれているかどうかを測定します。
アプリケーションがレンダリングされた後にのみ表示される安定した要素を選択します。そのセレクタまたはテキストマーカーをマニフェストに記録します。より強力なテストは、最小レコード数と、初期のHTMLシェルではなくレンダリングされたデータから入力される1つのフィールドもチェックします。
ボディサイズのみを使用しないでください。同意文、ナビゲーションクローム、またはチャレンジドキュメントは、大きくなることがありますが、ターゲットデータを含まない可能性があります。サイズを構造的主張と組み合わせてください。
スクリーンショット出力の場合、実行前に視覚的地域と期待される要素を定義します。スクリーンショットは有用な証拠ですが、スコア化された結果になるためには人間または視覚的主張が必要です。
実験を再現可能に保つ
再現可能な実験は、別のオペレーターが同じマトリックスを再実行できるように、十分な詳細を記録します。
保存:
- マニフェストとそのバージョン;
- ベンチマークスクリプトと依存関係のロックファイル;
- リクエスト設定、プロキシ国、およびリダイレクトポリシー;
- 生データの開始および終了のタイムスタンプ;
- レスポンスステータス、利用可能な場合の最終URL、経過時間、およびボディサイズ;
- 各コンテンツの主張と失敗理由;
- パーセンタイルメソッドと集計コード;
- 実効コスト計算に使用された使用率または請求エクスポート。
複数のサービスを比較する際は、プロバイダーをバランスのとれた順序で実行します。ドメインの条件は時間とともに変化するため、別のサービスを開始する前に1つのサービスのすべてのリクエストを完了すると、時間バイアスが生じる可能性があります。ベンチマークがクライアント側のボトルネックではなくサービスを測定するように、同時実行数を固定し、小さく保ちます。
結果を過剰に主張せずに読む
ウェブアンロッカーのベンチマークは、選択されたURL、設定、場所、および測定ウィンドウを説明します。
全体スコアの前にカテゴリレベルの結果を報告します。サンプルが小さい場合は、信頼区間または生データを含めます。サポートされていないケースと失敗したケースを分離します。実行後に除外されたターゲットを記録し、その理由を保持してください。URLのセットを静かに変更すると、比較可能性が壊れます。
「すべてのサイトで動作する」といった普遍的な主張は避けてください。防御可能な結論はより狭く、このマニフェストに対してこれらの設定の下で有用なコンテンツを生成したサービスがどれであったかです。
結論: 有用なコンテンツを成功の単位にする
再現可能なウェブアンロッカーベンチマークは、マニフェストから始まり、有用な配送で終わります。URLセットを層別化し、コンテンツの主張を定義し、レスポンスとコンテンツの成功を別々に測定し、p50およびp95レイテンシを報告し、受け入れられた出力ごとの観察された支出からコストを計算します。
Scrapelessの価格設定を確認し、現在のWeb Unlockerのドキュメントに従い、Scraper APIガイドを使用して、実験をより広範なデータパイプライン内に配置します。
あなたのワークロードに対してWeb Unlockerを測定する準備はできましたか？
Scrapelessコミュニティに参加して、再現可能なデータ収集実験を比較しましょう: Discord · Telegram.
app.scrapeless.comで無料アカウントを作成し、小さな承認された公開ページのセットに対してマニフェストを実行します。
FAQ
Q: ウェブアンロッカーベンチマークは何を測定すべきですか？
ウェブアンロッカーベンチマークは、APIのレスポンス率、コンテンツ成功率、レイテンシ分布、JavaScriptの完全性、および有用な配送あたりの実効コストを測定すべきです。
Q: HTTP 200は成功としてカウントするには不十分な理由は？
HTTP 200は、レスポンスのステータスを記述するだけです。ボディには、間違ったページ、トラフィック検証ドキュメント、空のアプリケーションシェル、または不完全なターゲットデータが含まれている可能性があります。
Q: ベンチマークには何件のURLを含めるべきですか？
ベンチマークには、すべての生産カテゴリを代表するのに十分なURLを含め、不確実性を報告すべきですが、普遍的な最小数はありません。小さなバランスの取れたマニフェストから始め、ハーネスを検証した後、承認されたサンプルを拡張します。
Q: p95レイテンシはどのように計算するべきですか？
明確に定義されたサンプルで1つの文書化された分位点法を使用してp95を計算し、結果の横にリクエスト数を公開します。比較する各サービスとカテゴリについて同じ方法を使用します。
Q: 公共のウェブサイトをベンチマークするのは合法ですか？
合法性は、管轄権、目的、ターゲット条件、およびデータタイプによって異なります。承認された公共のターゲットを使用し、負荷を最小限に抑え、サイトポリシーを尊重し、意図した生産利用について法的助言を取得します。
Q: Web Unlockerはプロキシと同じですか？
いいえ。プロキシはネットワークルートを変更しますが、Web Unlockerはより高レベルのリクエストを受け入れ、APIの背後でページアクセスとコンテンツ配信のワークフローを管理します。
Scrapelessでは、適用される法律、規制、およびWebサイトのプライバシーポリシーを厳密に遵守しながら、公開されているデータのみにアクセスします。 このブログのコンテンツは、デモンストレーションのみを目的としており、違法または侵害の活動は含まれません。 このブログまたはサードパーティのリンクからの情報の使用に対するすべての責任を保証せず、放棄します。 スクレイピング活動に従事する前に、法律顧問に相談し、ターゲットウェブサイトの利用規約を確認するか、必要な許可を取得してください。
