ウェブスクレイピングのための最高のPython HTTPクライアント: 実践的な比較

TL;DR:

• Requestsは直接的な同期ジョブに適しています。 ワークフローが持続的な設定と接続の再利用を必要とする場合は、セッションを使用してください。
• HTTPXは同期および非同期アプリケーションをサポートします。 それに伴うクライアントインターフェースは、2つのスタイル間の概念的なギャップを縮小できます。
• aiohttpはすでにasyncioを中心に構築されたアプリケーションに適しています。 クライアントセッションを再利用し、意図的に同時作業を束縛します。
• urllib3は低レベルのトランスポート制御を公開します。 プールの動作がアプリケーションの設計に含まれる場合に便利です。
• HTTPクライアントはページのJavaScriptを実行しません。 必要なコンテンツがレスポンスから欠けている場合は、レンダリングまたは管理されたアクセスサービスを使用してください。

はじめに: クライアントをアプリケーションに合わせる

PythonのHTTPクライアントはリクエストを送信し、レスポンスを公開します。アプリケーションは何を取得するか、返されたコンテンツが有用であるか、そしてそれをどのようにレコードに変換するかを決定します。

この区分は、同期ライブラリを非同期ライブラリに置き換えたからといって、スクレイピングジョブが自動的に修正されるわけではない理由を説明しています。そのジョブは、ターゲットを待機している、または大きなドキュメントを解析している、あるいはJavaScriptを必要とするページを受け取っている可能性があります。それぞれの問題には異なる介入が必要です。

この比較は、クライアントライブラリとしてRequests、HTTPX、aiohttp、urllib3を扱います。Scrapeless Web Unlockerは、後でこれらのライブラリが呼び出すことができるサービスとして登場します。これはPython HTTPライブラリではありません。ブラウザのインタラクションとファイル処理を必要とする関連ワークフローについては、download-file workflowが異なる実行層を示しています。

Python HTTPクライアントの概要

周囲のコードに合った実行モデルのクライアントを選択してください。テーブルはインターフェースを比較し、ベンチマーク結果ではありません。

これらのライブラリのいずれもレスポンスボディをレンダリングされたブラウザページには変換しません。HTML、JSON、およびその他の表現を取得できますが、パーサーまたはブラウザが次の段階を実行します。

接続プーリングが実際に変えるもの

接続プーリングは、互換性のあるリクエストが既存の接続を再利用できるようにし、毎回ゼロから接続を確立する必要を排除します。再利用はセットアップ作業を減少させることができますが、その利点はターゲット、リクエストパターン、およびサーバーの動作に依存します。

長寿命のクライアントオブジェクトは、アプリケーションに共有設定とクッキーの置き場所も提供します。そのオブジェクトは、意図されたジョブまたはサービスのライフタイムにスコープを保ってください。すべてのURLに対して新しいクライアントを作成すると、プールを使用する理由が大幅に失われます。

HTTPステータスとコンテンツ検証は別々のままです。HTTP表現モデルはレスポンスが何を表しているかを説明しています；スクレイパーは、その表現が必要なデータを含んでいるかどうかを確認する必要があります。

Requests: 読みやすい同期コードから開始

Requestsは、連続的なコードがワークロードに適しており、チームがなじみのあるリクエスト-レスポンスフローを重視する場合の実用的な選択肢です。そのセッションインターフェースは、イベントループを導入することなく接続再利用と持続的設定へのアクセスを維持します。

タイムアウトは必須です。明示的な制約がなければ、停止した操作がジョブの期待よりも長く作業者を占有する可能性があります。成功したステータスチェックの後には、レスポンスコンテンツの検証を行うべきで、抽出が成功したという即断は行ってはいけません。

同期実行は本質的に生産に不適切というわけではありません。小規模な承認されたコレクションジョブは、並行システムよりも連続リクエストとして操作する方が容易かもしれません。アプリケーションモデルを変更する前に、実際のボトルネックを測定してください。

HTTPX: 同期および非同期インターフェースを関連させる

HTTPXは、同期および非同期クライアントの両方を提供し、これがコードベースに異なる実行環境がある場合に便利です。リクエストオプションやレスポンス検査などの共通の概念は、移行を容易にしますが、async呼び出しサイトは依然としてクライアントのライフタイムの慎重な管理を要求します。

HTTPXは、オプションのHTTP/2サポートも提供します。HTTPX HTTP/2設定は明示的なセットアップを必要とし、ライブラリを選択しただけではすべての接続がそのプロトコルを交渉するわけではありません。

すべての設定がライブラリ間で同じ意味を持つとは限りません。既存のクライアントを置き換える前に、リダイレクトの動作、タイムアウトフェーズ、プロキシ設定、および例外の種類を比較してください。

aiohttp: 共有非同期セッションを使用する

Aiohttpは、asyncioを中心に構築された非同期クライアントを提供します。これは、すでに他の非同期I/Oをスケジュールし、そのモデルに参加するためにHTTPリクエストが必要なサービスに適しています。

ClientSessionを再利用し、意図した操作のための総タイムアウトを設定します。アプリケーションレベルで作業を制約することで、プログラムが無限のタスクセットを作成しないようにします。大きなタスクキューは、ターゲットから集めるための許可を増やすわけではありません。

非同期実行は、アプリケーションがI/Oを待機している間のスケジューリングの機会を改善します。これはHTML解析を無料にしたり、サーバーの制限を取り除いたり、エンドツーエンドのレイテンシを低下させたりはしません。クライアントを評価する際には、これらの主張を分けておいてください。

urllib3: 直接プール管理を意図的に選択

Urllib3は、より低いレベルで接続プーリングとトランスポート構成を公開します。これは、アプリケーションやライブラリがこれらの詳細を高レベルの便利なインターフェースを通じてではなく、直接管理する必要があるときに役立ちます。

追加の制御は、レスポンス処理におけるより多くの責任を伴います。バイトがどのようにテキストに変わり、コンテンツがいつ消費され、プールリソースがどのように解放されるかを決定します。具体的な要求には、低レベルのAPIが選択されるべきであり、より少ない抽象がより速いと仮定されるからではありません。

Scrapelessでスクレイピングを開始

ScrapelessであなたのWebスクレイピングと自動化ワークフローを強化しましょう！
今日サインアップし、$5の無料クレジットをゲット — クレジットカードは不要です。

今すぐScrapeless Dashboardで無料クレジットを請求してください。

すべてのクライアントで同じコンテンツチェックを実行

公平な機能比較は、同じソースを取得し、同じコンテンツマーカーをチェックします。以下のスクリプトは、クライアントごとに公開プロトコルドキュメントを1回リクエストし、期待されるトピックが存在するかを報告します。これは機能チェックであり、速度ランキングではありません。

前提条件とインストール

サポートされているPython環境を使用し、以下のバージョンをインストールしてください。この例は、アウトバウンドのHTTPSアクセスを必要としますが、Scrapelessの認証情報は必要ありません。後者のWeb Unlockerリクエストは、有効なScrapeless APIキーが必要であり、キーなしではライブ検証が保留されます。

仮想環境にパッケージをインストールします：

python3 -m pip install requests==2.32.5 httpx==0.28.1 aiohttp==3.13.5 urllib3==2.6.3

これをcompare_clients.pyとして保存し、Pythonで実行してください。リクエストは意図的に逐次的であり、非同期クライアントの例も含まれているため、スクリプトは同時実行ベンチマークを示唆しません。

import asyncio
import json
import ssl
import certifi
import requests
import httpx
import aiohttp
import urllib3

URL = 'https://www.rfc-editor.org/rfc/rfc9114.html'
MARKER = 'HTTP/3'
HEADERS = {'User-Agent': 'ContentComparison/1.0'}


def report(name, status, body):
    text = body.decode('utf-8')
    if status != 200 or MARKER not in text:
        raise ValueError(f'{name}: expected document missing')
    print(json.dumps({'client': name, 'status': status,
                      'bytes': len(body), 'topic_present': True}))


with requests.Session() as client:
    response = client.get(URL, headers=HEADERS, timeout=30)
    response.raise_for_status()
    report('requests', response.status_code, response.content)

with httpx.Client(timeout=30, follow_redirects=True) as client:
    response = client.get(URL, headers=HEADERS)
    response.raise_for_status()
    report('httpx', response.status_code, response.content)

pool = urllib3.PoolManager(cert_reqs='CERT_REQUIRED',
                           ca_certs=certifi.where())
try:
    response = pool.request('GET', URL, headers=HEADERS,
                            timeout=urllib3.Timeout(total=30))
    report('urllib3', response.status, response.data)
finally:
    pool.clear()


async def run_async():
    context = ssl.create_default_context(cafile=certifi.where())
    connector = aiohttp.TCPConnector(ssl=context)
    async with aiohttp.ClientSession(
        connector=connector, timeout=aiohttp.ClientTimeout(total=30)
    ) as client:
        async with client.get(URL, headers=HEADERS) as response:
            response.raise_for_status()
            report('aiohttp', response.status, await response.read())

asyncio.run(run_async())

スクリプトは実際のレスポンスボディをチェックし、TLS証明書の検証を保持します。上流のドキュメントが変更されるとバイト数が変わる可能性があります。成功したマーカーチェックは、この限定された取得タスクを確認しますが、他のサイトの抽出品質を確立するわけではありません。

スピードを比較する前に作業負荷を比較

有用なパフォーマンス実験は、ターゲットセット、同時実行制限、タイムアウトポリシー、および受け入れチェックを一定に保ちます。完了した有用なレコード、経過時間、リソース使用を報告します。サンプルから削除するのではなく、失敗を含めてください。

許可された小さな作業負荷から始めてください。制約された並列処理を導入する前に、逐次実行を測定します。非同期アプリケーションの場合、解析やストレージに費やされた時間も確認してください。イベントループ内でのCPU作業がブロックされることで、非同期ネットワーキングの利点が隠される可能性があります。

構造化されたレスポンスを読み取る際には型を保持してください。 JSON値型は、文字列、数値、nullを区別します。欠落している価格をゼロに変換すると、どのクライアントがそれを取得したかに関わらず、レコードの意味が変わります。

HTTPクライアントが停止する場所：管理されたページアクセス

HTTPクライアントは、レスポンス表現で停止します。ページのスクリプトを実行したり、チャレンジを意図したコンテンツに自動的に変換したりすることはありません。まず、返されたHTMLにターゲットデータが存在するかを検査します。 HTML解析アルゴリズムは、マークアップから文書ツリーを構築し、これはブラウザとしてページを実行することとは異なります。

Scrapeless Web Unlockerは、Pythonクライアントが呼び出すことができる管理されたアクセスエンドポイントを提供します。その境界で同じレスポンス検証の規律を保持してください。現在のWeb Unlockerリクエスト構成は、エンドポイントと入力契約を文書化しています。必要に応じて、現在のドキュメントからレンダリングオプションを選択する必要があります。

注意: 次のサービスリクエストには SCRAPELESS_API_KEY が必要です。認証済みの取得はその資格情報なしでのライブ検証を保留します; 戻されたHTMLや完了結果はここでは作成されていません。

import os
import requests

response = requests.post(
    'https://api.scrapeless.com/api/v2/unlocker/request',
    headers={'x-api-token': os.environ['SCRAPELESS_API_KEY']},
    json={
        'actor': 'unlocker.webunlocker',
        'input': {'url': 'https://httpbin.io/get',
                  'method': 'GET', 'redirect': False},
        'proxy': {'country': 'ANY'}
    },
    timeout=60
)
response.raise_for_status()
print(response.text)

この呼び出しは、文書化されたサービス境界を示しています。Pythonクライアントの代替やJavaScriptレンダリングデモではありません。解析する前に、実際のレスポンスとアプリケーションのステータスを確認してください。Scrapelessの価格設定をクライアントライブラリとは別にレビューしてください: ライブラリのインストールと管理されたサービス呼び出しは異なるコストモデルを持っています。

結論: ランタイムに合った最もシンプルなクライアントを選択する

同期ワークフローにはRequestsを使用し、関連する同期と非同期インターフェイスが役立つ場合はHTTPXを使用し、asyncio中心のアプリケーションにはaiohttpを使用し、直接プール制御が必要な場合にはurllib3を使用します。比較全体でコンテンツチェックを安定させてください。返された表現がタスクを満たすことができない場合にのみ、レンダリングまたは管理されたアクセスレイヤーを追加してください。

ウェブデータワークフローを構築する準備はできましたか？

実践的な収集ワークフローについて話し合う開発者に参加してください: Discord · Telegram。

app.scrapeless.comでアカウントを作成し、出力を検証できる認可されたタスクから始めてください。

FAQ

Q: 初心者はどのPython HTTPクライアントを選ぶべきですか？

Requestsは小規模な同期ジョブのための簡単な出発点です。タイムアウトを設定し、ステータスを確認し、より多くのインフラを追加する前にボディを検証してください。

Q: HTTPXは常にRequestsよりも速いですか？

ライブラリ名からは普遍的な速度の順序は導かれません。接続の再利用、同時実行、ターゲットの動作、解析作業が観察される結果を決定します。

Q: aiohttpはJavaScriptをレンダリングできますか？

AiohttpはHTTPレスポンスを取得し、ブラウザのレンダリングエンジンを実行しません。必要なデータがページスクリプトによって作成される場合には、ブラウザまたは適切な管理レンダリングサービスを使用してください。

Q: クライアントを変更するとアクセス拒否のページが解決しますか？

クライアントを変更しても認証を確立したり、アクセスを保証したりすることはありません。レスポンスを検査し、許可されたワークフローを確認し、挑戦ページをデータとして扱わずに適切なアクセスパスを選択してください。

Q: Scrapeless Web UnlockerはPythonライブラリですか？

Web Unlockerは、Python HTTPクライアントが呼び出すことのできる管理サービスです。クライアントがローカルリクエストを処理し、サービスが文書化されたリモートアクセス作業を処理します。