Selenium Pythonでプロキシを回転させる方法：包括的なチュートリアル

pip install selenium-wire

# 必要なライブラリをインポート
from seleniumwire import webdriver
from selenium.webdriver.common.by import By

# ドライバーインスタンスを設定
driver = webdriver.Chrome()

# ...

# 現在のIPアドレスを表示するためにリクエストを送信
driver.get('https://httpbin.io/ip')

ip_address = driver.find_element(By.TAG_NAME, 'body').text

# IPアドレスを表示
print(ip_address)

{
  "origin": "101.118.0.XXX:YYY"
}

# プロキシ配列を作成
proxy_list = [
    {'http': '103.160.150.251:8080', 'https': '103.160.150.251:8080'},
    {'http': '38.65.174.129:80', 'https': '38.65.174.129:80'},
    {'http': '46.105.50.251:3128', 'https': '46.105.50.251:3128'},
]

# ...
# 最初のプロキシでドライバーインスタンスを起動
driver = webdriver.Chrome(seleniumwire_options= {
    'proxy': proxy_list[0],
    })

# リクエストをトリガーするためにウェブサイトにアクセス
driver.get('https://httpbin.io/ip')

# プロキシ値要素を取得
ip = driver.find_element(By.TAG_NAME, 'body').text

# 現在のIPアドレスを表示
print(ip)

# ...

# 2番目のプロキシに切り替え:
ドライバー.proxy = プロキシリスト[1]

# 同じインスタンスでページを再読み込み
ドライバー.get('https://httpbin.io/ip')

# プロキシ値要素を取得
ip2 = ドライバー.find_element(By.TAG_NAME, 'body').text

# 2番目のIPアドレスを出力
print(ip2)

# 3番目のプロキシに切り替え：
ドライバー.proxy = プロキシリスト[2]

# 同じインスタンスでページを再読み込み
ドライバー.get('https://httpbin.io/ip')

# プロキシ値要素を取得
ip3 = ドライバー.find_element(By.TAG_NAME, 'body').text

print(ip3)

ドライバー.quit()

この手動回転方法は、コアコンセプトを示しています。しかし、高ボリュームで生産レベルのスクレイピングには、より堅牢で自動化されたソリューションが必要です。

## Scrapelessによる自動プロキシ回転

無料プロキシのリストを使用した手動回転は良い学習体験ですが、本格的なウェブスクレイピングには持続可能ではありません。無料プロキシは遅く、信頼性が低く、すぐに禁止されてしまいます。特に<a href="https://www.scrapeless.com/ja/wiki/how-to-scrape-instagram-follower-data-with-scrapeless">ソーシャルメディアデータのスクレイピング</a>や<a href="https://www.scrapeless.com/ja/blog/google-search-api">SERPスクレイピング</a>のようなタスクには、高品質な自動回転が可能なプレミアムサービスが必要です。

**Scrapeless Proxy**は、手動プロキシリスト管理やロジックの必要を排除する高性能な自動ソリューションを提供します。

Scrapelessは、リクエストごとに自動的に変わる膨大な回転住宅IPプールを提供し、高い成功率と最小限のブロックを確保します。Selenium WireスクリプトをScrapelessエンドポイントで使用するように設定するだけで、サービスが全体の回転プロセス、再試行、IPの健康チェックを裏で管理します。

### Seleniumプロキシ回転にScrapelessを選ぶ理由

*   **自動回転：** プラットフォームがすべてのIP回転を処理し、手動コードの必要がありません。
*   **高い成功率：** 巨大な住宅およびISPプロキシプールを活用し、Scrapelessはリクエストの成功を保証します。
*   **簡素化された統合：** 単一の認証エンドポイントを使用してSelenium Wireと統合します。
*   **データに集中：** プロキシインフラストラクチャではなく、スクレイピングロジックに全力を注ぐことができます。

自動プロキシ回転の力を体験するには、Scrapelessの無料トライアルを開始できます：

<div style="padding: 20px 0; text-align: center;">
  <a
    style="
      margin: 8px;
      display: inline-block;
      text-decoration: none;
    "
    href="https://www.goproxy.com/register?link=https://app.scrapeless.com/passport/login?utm_source=official&utm_medium=blog&utm_campaign=nebula-proxy"
  >
    <div
      style="
        font-weight: bold;
        width: 100%;
        max-width: 400px;
        padding: 12px 40px;
        background: #12A594;
        border-radius: 5px;
        border: 2px solid #12A594;
        color: #fff;
        cursor: pointer;
        box-sizing: border-box;
        font-size: 18px;
      "
    >
      無料で試す &gt;
    </div>
  </a>
</div>

### ステップ4（オプション）：プロキシ認証の追加

Scrapelessのようなプレミアムサービスを使用する際は、認証情報を含める必要があります。これは通常、`seleniumwire_options`辞書内に認証情報を渡すことで行います。

```python
# 実際のScrapelessの認証情報に置き換えてください
PROXY_HOST = 'gate.scrapeless.com'
PROXY_PORT = 8000
PROXY_USER = 'your_username'
PROXY_PASS = 'your_password'

プロキシオプション = {
    'proxy': {
        'http': f'http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}',
        'https': f'https://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}',
        'no_proxy': 'localhost,127.0.0.1' # ローカルアドレスを除外
    }
}

ドライバー = webdriver.Chrome(seleniumwire_options=プロキシオプション)
# ... あなたのスクレイピングコード