Playwright Stealthを使ってボット検出を回避する

    await page.goto("https://www.whatismybrowser.com/detect/what-is-my-user-agent")
    ua_element = await page.locator("#detected_user_agent").text_content()
    print(f"検出されたユーザーエージェント: {ua_element}")

    await browser.close()

import asyncio
import random
from playwright.async_api import async_playwright

# 実際のプロキシリストで置き換えてください
プロキシ = [
    "http://user1:pass1@proxy1.example.com:8080",
    "http://user2:pass2@proxy2.example.com:8080",
    "http://user3:pass3@proxy3.example.com:8080"
]

async def run():
    async with async_playwright() as p:
        # このセッションのためにランダムなプロキシを選択
        selected_proxy = random.choice(プロキシ)
        
        browser = await p.chromium.launch(
            headless=True,
            proxy={
                "server": selected_proxy
            }
        )
        page = await browser.new_page()

        await page.goto("https://httpbin.org/ip")
        ip_info = await page.text_content("body")
        print(f"検出されたIP: {ip_info}")

        await browser.close()

if __name__ == '__main__':
    asyncio.run(run())

# await page.locator("#recaptcha-demo-submit").click()
            else:
                print("reCAPTCHAは検出されませんでした。")

            await browser.close()

    if __name__ == '__main__':
        asyncio.run(run())
    ```

**影響:** CAPTCHAを効果的に処理することは、継続的なスクレイピングオペレーションを維持するために極めて重要です。これは複雑さとコストを加えますが、ボットがボット検出の最も直接的な形式を乗り越えられることを保証します。CAPTCHAを回避する方法についての詳細は、次の記事を参照できます：<a href="https://www.webshare.io/academy-article/playwright-bypass-captcha" rel="nofollow">**PlaywrightでCAPTCHAを回避する方法**</a>. [5]

### 6. クッキーとセッションの管理

ウェブサイトは、ユーザーの活動を追跡し、状態を維持するためにクッキーとセッション管理を使用します。クッキーを適切に処理しないボットや、異常なセッション行動を示すボットは容易に特定され、ブロックされる可能性があります。適切なクッキーとセッションの管理は、正当なユーザーのインタラクションを模倣し、ボット検出を避けるために重要です。

**仕組み:** 人間のユーザーがウェブサイトを閲覧する際、クッキーは交換され、セッション全体を通じて維持されます。これらのクッキーは、ユーザーの好み、ログイン状況、トラッキングデータに関する情報を含むことがよくあります。ボットは、通常のブラウザのようにクッキーを受け入れ、送信すべきです。また、一貫したセッションの行動（例：セッションを突然閉じたり再開したりせず、セッションの文脈に合わないリクエストをしない）を維持することで、検出を回避するのに役立ちます。

**実装手順:**

1.  **クッキーを持続させる:** Playwrightを使用すると、クッキーを保存および読み込むことができ、ボットが複数の実行やページを通じてセッションを維持することができます。

2.  **`storage_state`を使用する:** この機能を使用すると、ブラウザコンテキスト全体のローカルストレージ、セッションストレージ、およびクッキーを保存し、新しいコンテキストに読み込むことができます。

    ```python
    import asyncio
    from playwright.async_api import async_playwright

    async def run():
        async with async_playwright() as p:
            # ブラウザを起動し、コンテキストを作成する
            browser = await p.chromium.launch(headless=True)
            context = await browser.new_context()
            page = await context.new_page()

            # クッキーを設定するサイトに移動する（例：ログインページ）
            await page.goto("https://www.example.com/login") # 実際のURLに置き換えてください
            # クッキーを設定するためのアクションを実行する（例：ログイン）
            # await page.fill("#username", "testuser")
            # await page.fill("#password", "testpass")
            # await page.click("#login-button")
            await asyncio.sleep(2)

            # ストレージ状態を保存する（クッキーを含む）
            await context.storage_state(path="state.json")
            await browser.close()

            # 後で新しいブラウザを起動し、保存した状態を読み込む
            print("\n--- 保存された状態を読み込んでいます ---")
            browser2 = await p.chromium.launch(headless=True)
            context2 = await browser2.new_context(storage_state="state.json")
            page2 = await context2.new_page()

            await page2.goto("https://www.example.com/dashboard") # 実際のURLに置き換えてください
            print(f"状態を読み込んだ後のページ: {page2.url}")
            await browser2.close()

    if __name__ == '__main__':
        asyncio.run(run())
    ```

**影響:** 適切なクッキーとセッションの管理により、ボットのインタラクションがより一貫して人間らしく見えるようになり、異常なセッションパターンに基づいてボットをフラグすることが難しくなります。これは、ボット検出を避けるための微妙だが強力な技術です。[6]

### 7. ヘッドレスモードを注意して使用するか、まったく使用しない

ヘッドレスブラウザは、オートメーションには効率的ですが、しばしばボット対策システムが検出できる明確な指紋を残します。ヘッドレスモードで実行する場合、特定のブラウザのプロパティと動作に違いがあります。Playwrightは、他のツールよりもヘッドレスモードでの検出が少ないように設計されていますが、高度なボット検出回避には考慮すべき要素です。

**仕組み:** ボット対策ソリューションは、特定のJavaScriptプロパティ（例：`navigator.webdriver`、これはステルスプラグインが対処します）、レンダリングの違い、またはグラフィカルユーザーインターフェースの存在をチェックできます。Playwrightをヘッドフルモード（すなわち、視覚的なブラウザウィンドウで）で実行すると、これらのヘッドレス特有の指標を排除し、オートメーションがサイトを閲覧している実際のユーザーのように見えるようになります。

**実装手順:**

1.  **ヘッドフルモードで実行する:** 重要なスクレイピングタスクや持続的な検出に直面している場合は、`headless=False`でPlaywrightを実行することを検討してください。

    ```python
    import asyncio
    from playwright.async_api import async_playwright

    async def run():
        async with async_playwright() as p:
            # ヘッドフルモードでブラウザを起動する
            browser = await p.chromium.launch(headless=False)
            page = await browser.new_page()

await page.goto("https://www.example.com") # 対象のURLに置き換えてください
            print(f"移動先: {page.url}")
            await asyncio.sleep(5) # 観察するためにブラウザを数秒間開いたままにする

            await browser.close()

    if __name__ == '__main__':
        asyncio.run(run())
    ```

2.  **ビューポートと画面サイズを調整する:** ヘッドレスで実行する際は、ビューポートサイズと画面解像度を一般的なユーザーデバイスと同様に設定してください。相違が検出の原因になることがあります。

    ```python
    import asyncio
    from playwright.async_api import async_playwright

    async def run():
        async with async_playwright() as p:
            browser = await p.chromium.launch(headless=True)
            # 一般的なデスクトップビューポートサイズを設定
            context = await browser.new_context(viewport={'width': 1366, 'height': 768})
            page = await context.new_page()

            await page.goto("https://www.example.com") # 対象のURLに置き換えてください
            print(f"移動先: {page.url} ビューポートサイズ {await page.evaluate('window.innerWidth')}x{await page.evaluate('window.innerHeight')}")
            await browser.close()

    if __name__ == '__main__':
        asyncio.run(run())
    ```

**影響:** ヘッドフルモードでの実行はリソースを多く消費し、大規模な操作には常に実用的ではありませんが、特にヘッドレスブラウザの特性をターゲットにした最も攻撃的なボット検出システムを回避するための強力な手法となることがあります。ヘッドフルが実現不可能なシナリオでは、ヘッドレスブラウザの特性を注意深く構成することが、ボット検出を避けるために不可欠です。[7]

### 8. 自動化インジケーターを無効にする

`navigator.webdriver` プロパティに加え、自動化されたブラウザの存在を示す他の微妙なインジケーターがあります。アンチボットシステムはこれらのフラグを積極的に探し、ボットを特定してブロックします。これらの自動化インジケーターを無効にするか修正することは、Playwrightスクリプトをより検出されにくくするための重要なステップです。

**仕組み:** Playwrightは、他のブラウザ自動化ツールと同様に、特定のプロパティや動作を自動化された環境のみに特有のものとして公開することがあります。これには特定のJavaScript変数、ブラウザフラグ、特定のブラウザ機能の初期化の方法が含まれます。Playwrightの`page.evaluate`または`page.addInitScript`メソッドを使用することで、ターゲットウェブサイトのスクリプトがそれらを検出する前に、これらのインジケーターを変更または削除するJavaScriptコードを注入できます。

**実装ステップ:**

1.  **JavaScriptプロパティを変更する:** `page.evaluate`または`page.addInitScript`を使用して、自動化を示すプロパティを上書きまたは削除します。

    ```python
    import asyncio
    from playwright.async_api import async_playwright

    async def run():
        async with async_playwright() as p:
            browser = await p.chromium.launch(headless=True)
            page = await browser.new_page()

            # 自動化インジケーターを無効にするJavaScriptを注入
            await page.add_init_script("""
                Object.defineProperty(navigator, 'webdriver', { get: () => undefined });
                Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5] }); // 一般的なプラグイン数を模倣
                Object.defineProperty(navigator, 'languages', { get: () => ['ja-JP', 'ja'] });
                Object.defineProperty(navigator, 'deviceMemory', { get: () => 8 }); // 一般的なデバイスメモリを模倣
            """)

            await page.goto("https://bot.sannysoft.com/") # ブラウザのフィンガープリンティングをチェックするサイト
            await page.screenshot(path="sannysoft_check.png")
            print("sannysoft_check.pngとしてスクリーンショットを保存しました。自動化インジケーターを確認してください。")

            await browser.close()

    if __name__ == '__main__':
        asyncio.run(run())
    ```

**影響:** この手法は、アンチボットシステムが使用するJavaScriptベースのフィンガープリンティング手法に直接対抗します。これらのインジケーターを慎重に修正することで、Playwrightインスタンスを標準的な人間が操作するブラウザに近づけ、ボット検出を回避する可能性を大幅に向上させることができます。これは、高度なステルス設定における重要なステップです。[8]

### 9. 現実的なブラウザ設定を使用する（タイムゾーン、ジオロケーション、WebGL）

高度なボット検出システムは、自動化されたトラフィックを特定するためにさまざまなブラウザ設定や環境要因を分析します。タイムゾーン、ジオロケーション、またはWebGLフィンガープリンティングにおける相違が赤信号となる可能性があります。Playwrightを現実的で一貫したブラウザ設定で構成することで、ボットが正当なユーザートラフィックに溶け込むことができるようになります。

**動作の仕組み:** ウェブサイトは、ブラウザのタイムゾーン、約的な位置情報（IPまたはブラウザのAPIを介して）、およびWebGLのレンダリング能力に関する情報にアクセスできます。これらの値が矛盾しているか、特定の国から閲覧しているとされるユーザーのサーバーのタイムゾーンなどの非標準環境を示す場合、ボット検出がトリガーされる可能性があります。Playwrightでこれらのパラメータを明示的に設定することで、より説得力のある人間のようなブラウザプロファイルを作成できます。

**実装手順:**

1. **タイムゾーンと位置情報の設定:** Playwrightでは、新しいブラウザコンテキストを作成する際にこれらのパラメータを設定できます。

2. **WebGLの処理:** 直接のWebGLスプーフィングは複雑ですが、可能であれば完全に仮想化されたものではなく実際のブラウザを使用するなど、ブラウザ環境を整えて一貫したWebGLフィンガープリントを提供することが重要です。

    ```python
    import asyncio
    from playwright.async_api import async_playwright

    async def run():
        async with async_playwright() as p:
            browser = await p.chromium.launch(headless=True)
            context = await browser.new_context(
                timezone_id="America/New_York", # 例: 特定のタイムゾーンを設定
                geolocation={
                    "latitude": 40.7128, 
                    "longitude": -74.0060 # 例: ニューヨーク市の座標
                },
                permissions=["geolocation"]
            )
            page = await context.new_page()

            await page.goto("https://browserleaks.com/geo") # 位置情報を確認するサイト
            await page.screenshot(path="geolocation_check.png")
            print("スクリーンショットがgeolocation_check.pngに保存されました。正確な位置情報を確認してください。")

            await page.goto("https://browserleaks.com/webgl") # WebGLフィンガープリントを確認するサイト
            await page.screenshot(path="webgl_check.png")
            print("スクリーンショットがwebgl_check.pngに保存されました。一貫したWebGLフィンガープリントを確認してください。")

            await browser.close()

    if __name__ == '__main__':
        asyncio.run(run())
    ```

**影響:** これらの環境設定を実際のユーザーのものと一致させることで、Playwrightスクリプトを人間のトラフィックから区別しにくくします。これは、ブラウザ環境の詳細なフィンガープリンティングを行う高度なボット検出システムに対して特に効果的です。一貫して現実的なブラウザ設定が、ボット検出を避けるために重要です。 [9]

### 10. リクエストのインターセプションを使用してヘッダーを変更する

User-Agent以外にも、その他のHTTPヘッダーも自動化を明らかにする可能性があります。アンチボットシステムは、ボットを示す矛盾やパターンを分析するために`Accept`、`Accept-Encoding`、`Accept-Language`、`Referer`などのヘッダーを分析します。Playwrightのリクエストインターセプション機能を使用すると、これらのヘッダーを動的に変更することができ、自然で人間のように見えるようにできます。

**動作の仕組み:** リクエストインターセプションを使用すると、Playwrightスクリプトは、サーバーに送信される前にネットワークリクエストを検査および変更できます。これにより、各リクエストのヘッダーや他のプロパティに対する詳細な制御が可能になります。現実的で多様なヘッダーを設定することで、ボットの自動化された特性をさらに隠すことができます。

**実装手順:**

1. **リクエストインターセプションを有効にする:** `page.route`を使用してリクエストをインターセプトします。

2. **ヘッダーを変更する:** ルートハンドラ内で、必要に応じてリクエストヘッダーを変更します。

    ```python
    import asyncio
    import random
    from playwright.async_api import async_playwright, Route

    async def handle_route(route: Route):
        request = route.request
        headers = request.headers

        # ヘッダーを人間のように見えるように変更
        headers["Accept-Language"] = random.choice(["en-US,en;q=0.9", "en-GB,en;q=0.8"])
        headers["Referer"] = "https://www.google.com/"
        # 必要に応じて他の疑わしいヘッダーを削除または変更

        await route.continue_(headers=headers)

    async def run():
        async with async_playwright() as p:
            browser = await p.chromium.launch(headless=True)
            page = await browser.new_page()

            # リクエストインターセプションを有効化
            await page.route("**/*", handle_route)

            await page.goto("https://httpbin.org/headers")
            headers_info = await page.text_content("body")
            print(f"検出されたヘッダー: {headers_info}")

            await browser.close()

    if __name__ == '__main__':
        asyncio.run(run())
    ```

**影響:** リクエストインターセプションは、Playwrightスクリプトのネットワークフットプリントを制御するための強力なメカニズムを提供します。全ての送信リクエストが自然で多様なヘッダーを持つようにすることで、ヘッダーに基づくボット検出に引っかかる可能性を大幅に減少させます。この技術は包括的なボット検出回避に不可欠です。 [10]

## 推奨: Scrapelessによるボット検出回避の簡素化
上記の技術を実装することで、Playwrightスクリプトのステルス性を大幅に改善することができますが、これらの設定を管理し、進化するアンチボット対策に常に対応するのは複雑で時間がかかることがあります。そこで、Scrapelessのような専門サービスが非常に価値を持ってきます。Scrapelessは、ボット検出回避の複雑さを扱うために設計されており、データ抽出に集中できるようにします。

Scrapelessは、手動で複雑なステルステクニックを実装・維持するための強力な代替手段を提供します。プロキシを自動的に管理し、ユーザーエージェントを回転させ、CAPTCHAを処理し、高度なブラウザフィンガープリンティング対策を適用する強力なAPIを提供します。これにより、継続的なアンチボット開発の負担を抱えることなく、高い成功率でWebスクレイピングを実現できます。

**なぜScrapelessを選ぶべきか？**

*   **自動ステルス:** Scrapelessは、自動的にIP回転、ユーザーエージェント管理、およびブラウザフィンガープリンティング調整を含む一連のステルステクニックを適用し、リクエストが正当なものであるようにします。
*   **CAPTCHA解決:** 統合されたCAPTCHA解決機能により、これらの一般的な障害を心配する必要はありません。
*   **スケーラビリティ:** 大規模な運用向けに設計されているため、Scrapelessは高いリクエストボリュームを効率的に処理でき、広範なデータ収集プロジェクトに最適です。
*   **メンテナンスの削減:** アンチボット技術が進化するにつれて、Scrapelessは回避メカニズムを継続的に更新し、開発およびメンテナンスの負担を大幅に軽減します。
*   **データへの集中:** ボット検出の複雑さを抽象化することで、Scrapelessは必要なデータの解析と利用に集中できるようにします。

### 比較まとめ：手動Playwrightステルス vs. Scrapeless

利点を示すために、以下の比較を考慮してください：

| 機能 / 視点               | 手動Playwrightステルスの実装                               | Scrapelessサービス                                                               |
| :------------------------ | :----------------------------------------------------- | :------------------------------------------------------------------------------- |
| **複雑さ**                | 高い；ブラウザ内部やボット検出について深い理解が必要     | 低い；シンプルなAPIコール                                                       |
| **セットアップ時間**      | かなりの時間；複数の技術をコーディング・構成する必要がある | 最小限；既存のプロジェクトへの迅速な統合                                         |
| **メンテナンス**         | 高い；進化するアンチボット対策に対処するための継続的な更新が必要 | 低い；Scrapelessのチームによって管理される                                      |
| **プロキシ管理**          | 手動設定と回転；信頼できるプロキシの調達が必要           | 自動のIP回転とプロキシ管理                                                      |
| **CAPTCHA処理**          | 第三者の解決者との統合が必要で、複雑さを増す             | 統合されたCAPTCHA解決                                                          |
| **成功率**                | 実装の質とアンチボットの精度によって変動                  | 高い；最大バイパス率に向けて継続的に最適化                                     |
| **コスト**                | 開発時間、プロキシコスト、CAPTCHA解決者の料金             | サブスクリプションベース；予測可能なコスト                                     |
| **焦点**                  | アンチボットの回避とデータ抽出                           | 主にデータ抽出；アンチボットは自動的に処理される                               |

この表は、手動Playwrightステルスが細かな制御を提供する一方で、Scrapelessはボット検出を回避するためのより効率的でスケーラブルかつ資源を節約するソリューションを提供することを強調しています。本格的なWebスクレイピングに取り組むなら、Scrapelessはゲームチェンジャーとなる可能性があります。

## 結論

ボット検出の複雑な領域をうまくナビゲートするためには、多面的なアプローチが必要です。Playwrightはブラウザ自動化に強力な機能を提供しますが、真のステルスを実現するには、ステルスプラグインの利用やユーザーエージェントのランダム化、人間の行動の模倣、ブラウザ設定の管理など、さまざまな技術を慎重に実装する必要があります。ここで議論された10の解決策は、それぞれ堅牢で検出されにくいスクレイピングインフラの構築に貢献しています。

しかし、スクレイパーとアンチボットシステムとの間の継続的なイタチごっこは、これらの解決策を手動で維持することがリソースを大幅に消耗する可能性があることを意味します。効率的で信頼性の高いデータ抽出に真剣な開発者やビジネスにとって、Scrapelessのような専門サービスは並外れた利点を提供します。ボット検出の回避の複雑さをオフロードすることで、Scrapelessは貴重なデータの獲得と利用に真に重要なことに集中できるようにします。
**ウェブスクレイピングを効率化し、ボット検出の課題を難なく克服する準備はできていますか？**

<a href="https://app.scrapeless.com/passport/login?utm_source=blog-ai" rel="nofollow">**今すぐScrapelessをお試しになり、その違いを体験してください！**</a>

## よくある質問 (FAQ)

### Q1: ウェブスクレイピングにおけるボット検出とは何ですか？

ボット検出とは、ウェブサイトがそのコンテンツにアクセスする自動化プログラム（ボット）を特定し、ブロックするために使用する方法を指します。これらの方法は、IPアドレスやユーザーエージェント文字列を分析することから、異常なブラウジングパターンやブラウザの指紋を検出することまで多岐にわたります。目的は、データスクレイピングや資格情報の詰め込み、DDoS攻撃といった悪意のある活動を防ぐことですが、正当な自動化にも影響を及ぼすことがよくあります。

### Q2: なぜPlaywrightはアンチボットシステムに検出されるのですか？

Playwrightは他のブラウザ自動化ツールと同様に、人間が操作するブラウザとは異なる特定のデジタル指紋を残すため、検出されることがあります。これには、特定のJavaScriptプロパティ（例: `navigator.webdriver`）、一貫性のあるまたは異常なHTTPヘッダー、予測可能なブラウジングパターン、および人間のような遅延やマウスの動きがないことが含まれます。アンチボットシステムはこれらの異常を探すように設計されています。

### Q3: Playwright Stealthプラグインは100%の検出回避を保証しますか？

いいえ、Playwright Stealthプラグインは一般的なブラウザ指紋を修正することにより検出回避能力を大幅に向上させますが、100%の検出回避を保証するものではありません。アンチボット技術は常に進化しており、洗練されたシステムは複数の検出層を採用しています。ステルスプラグインは重要な第一歩ですが、最良の結果を得るためにはIPローテーション、人間のような行動シミュレーション、慎重なセッション管理など他の技術と組み合わせる必要があります。

### Q4: Playwrightのステルステクニックはどのくらいの頻度で更新すべきですか？

更新頻度は、ターゲットのウェブサイトやそのアンチボット対策の洗練度によります。ウェブサイトは防御策を絶えず更新しているため、スクレイピングスクリプトを定期的にテストし、検出パターンの変化を監視することが望ましいです。最新のアンチボット技術に関する情報を把握し、ステルス戦略をそれに応じて更新することは継続的なプロセスです。Scrapelessのようなサービスは、これらの更新を自動で処理します。

### Q5: ウェブスクレイピングのためにボット検出を回避することは合法ですか？

ウェブスクレイピングおよびボット検出の回避の合法性は、管轄区域やスクレイピングしているウェブサイトの利用規約により大きく異なります。一般的に、公に利用可能なデータのスクレイピングは合法と見なされることが多いですが、技術的手段（ボット検出など）を回避したり、著作権のあるデータや個人データをスクレイピングしたりすることは法的問題を引き起こす可能性があります。常に法的アドバイスを受け、ウェブサイトの利用規約を尊重してください。この記事は技術的手法に焦点を当てており、法的含意については触れていません。