Pythonでプロキシを回す方法：ウェブスクレイピングのための実用ガイド

<div style="background-color: #f3f4f6; padding: 24px 40px; border-radius: 10px;">
  <strong style="font-size: 18px;">
    簡単にご覧ください
  </strong>
  <p style="margin-bottom: 24px;">
    Requests、AIOHTTP、およびScrapyを使用してPythonでプロキシローテーションをマスターし、IP禁止を克服し、Scrapeless Proxiesでウェブスクレイピングプロセスを効率化しましょう。
  </p>
  <div style="text-align: center; margin-top: 10px;">
    <a href="https://app.scrapeless.com/passport/login?utm_source=official&utm_medium=blog&utm_campaign=rotate-proxies-in-python" style="background: #12A594; color: #fff; padding: 10px 28px; border-radius: 38px; text-decoration: none; display: inline-block;">
      今すぐログイン - 無料トライアル
    </a>
  </div>
</div>

Pythonは、`requests`、`aiohttp`、および`Scrapy`のような強力なライブラリのおかげで、ウェブスクレイピングやデータ収集に最適な言語です。しかし、ボット対策がますます高度になるにつれて、大規模なスクレイピングのために単一のIPアドレスを維持することは、即座にIP禁止やブロックを招く原因となります。

**プロキシローテーション**は、リクエストをIPアドレスのプールに分散させて、スクレイピング活動を自然に見せ、検出を防ぐために使用される重要な技術です。このガイドでは、Pythonでのプロキシローテーションを実装するための実用的なコードベースのアプローチを提供し、Scrapeless Proxiesのようなフルマネージドソリューションを使用するメリットを強調します。

## プロキシローテーションとは何か、なぜ必要なのか？

**プロキシローテーション**は、ターゲットウェブサイトに対する各リクエスト（または設定されたリクエスト数の後）に使用されるIPアドレスを自動的に変更するプロセスです。

必要な理由は以下の通りです：

*   **IP禁止を防止する:** ターゲットサイトは、単一のIPからのリクエストの量と頻度を追跡します。ローテーションにより、単一のIPが過負荷になることを防ぎ、一時的または永久的な禁止を回避します。
*   **レート制限を回避する:** IPを循環させることで、自動化されたトラフィックを減速させるために設計されたサーバーサイドのレート制限を効果的に回避できます。
*   **匿名性を維持する:** 追跡に対して複雑さを追加し、それが**市場調査**や競争情報収集にとって重要です。

## Pythonでのプロキシローテーションの実装

プロキシをローテーションさせるための方法は、使用しているPythonライブラリによって異なります。以下は3つの一般的なアプローチです。

### 1. `requests`ライブラリを使用したローテーション

`requests`ライブラリは、単純なHTTPリクエストに最も人気のある選択肢です。ここでのローテーションは、プロキシのリストを維持し、各リクエストに対してランダムに1つを選択します。

```python
import random
import requests

# プロキシのリストを定義します（実際のプロキシリストに置き換えてください）
def get_random_proxy():
    proxies = [
        "http://user:pass@ip1:port",
        "http://user:pass@ip2:port",
        "http://user:pass@ip3:port",
        # ここにさらにプロキシを追加...
    ]
    # ランダムにプロキシを選択
    return random.choice(proxies)

def make_rotated_request(url):
    proxy_url = get_random_proxy()
    proxies = {
        "http": proxy_url,
        "https": proxy_url,
    }
    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        response.raise_for_status()
        print(f"成功：IP使用中 {response.json().get('origin')}")
        return response
    except requests.exceptions.RequestException as e:
        print(f"プロキシ {proxy_url} でリクエストに失敗しました: {e}")
        return None

# 使用例
for i in range(5):
    make_rotated_request("https://httpbin.io/ip")

import asyncio
import aiohttp

proxies_list = [
    "http://user:pass@ip1:port",
    "http://user:pass@ip2:port",
    "http://user:pass@ip3:port",
]

async def fetch_ip(session, proxy_address, attempt):
    # aiohttpは'proxy'引数を直接使用します
    async with session.get("https://httpbin.io/ip", proxy=proxy_address) as response:
        json_response = await response.json()
        print(f"試行 {attempt} IP: {json_response.get('origin', '不明')}")

async def main():
    async with aiohttp.ClientSession() as session:
        tasks = []
        num_requests = 6
        for i in range(num_requests):
            # モジュラス演算子を使用してプロキシをローテーション
            proxy_address = proxies_list[i % len(proxies_list)]
            tasks.append(fetch_ip(session, proxy_address, i + 1))
        await asyncio.gather(*tasks)

# スクリプトを起動
# asyncio.run(main())

DOWNLOADER_MIDDLEWARES = {
    "rotating_proxies.middlewares.RotatingProxyMiddleware": 610,
    "rotating_proxies.middlewares.BanDetectionMiddleware": 620,
}

# ローテーションするプロキシのリスト
ROTATING_PROXY_LIST = [

"http://user:pass@ip1:port",
"http://user:pass@ip2:port",
# ...
]