無限スクロールのスクレイピング: 何回スクロールすればよいかを推測するのをやめよう

def served_html() -> tuple[int, int]:
    request = urllib.request.Request(SCROLL_URL, headers={"User-Agent": UA})
    with urllib.request.urlopen(request, timeout=45) as response:
        html = response.read().decode("utf-8", "replace")
    return len(html), html.count('class="quote"')

スクロールページのバイト数        : 2671
HTML内の引用要素数                : 0

pip install playwright
playwright install chromium

def scroll_fixed(page, times: int, pause: float) -> int:
    for _ in range(times):
        page.mouse.wheel(0, 20000)
        time.sleep(pause)
    return page.locator("div.quote").count()

5回スクロール後の引用数       : 60
経過時間（秒）                : 5.1

def scroll_until_stable(page, pause: float, no_growth_limit: int = 2) -> tuple[int, int]:
    seen = page.locator("div.quote").count()
    scrolls = 0
    stable = 0
    while stable < no_growth_limit:
        page.mouse.wheel(0, 20000)
        time.sleep(pause)
        scrolls += 1
        count = page.locator("div.quote").count()
        if count == seen:
            stable += 1
        else:
            stable = 0
            seen = count
    return seen, scrolls

収集された引用数           : 100
実施されたスクロールアクション : 11
経過時間（秒）            : 11.1
ページが行ったAPI呼び出し  : 10
最初のAPI URL            : https://quotes.toscrape.com/api/quotes?page=1

収集された引用         : 100
実行されたスクロール動作 : 3

    endpoint = (
        "wss://browser.scrapeless.com/api/v2/browser"
        f"?token={os.environ['SCRAPELESS_API_KEY']}&sessionTTL=180&proxyCountry=ANY"
    )
    with sync_playwright() as p:
        browser = p.chromium.connect_over_cdp(endpoint, timeout=90000)
        page = browser.new_page()
        page.goto(SCROLL_URL, wait_until="domcontentloaded")
        cloud_total, cloud_scrolls = scroll_until_stable(page, pause=1.0)

        calls: list[str] = []
        context = browser.new_context(user_agent=UA)
        context.on("request", lambda r: calls.append(r.url) if "/api/quotes" in r.url else None)

def read_api() -> tuple[int, int]:
    quotes = 0
    page = 1
    while True:
        request = urllib.request.Request(API_URL.format(page=page), headers={"User-Agent": UA})
        with urllib.request.urlopen(request, timeout=45) as response:
            payload = json.loads(response.read().decode())
        quotes += len(payload["quotes"])
        if not payload["has_next"]:
            return quotes, page
        page += 1

収集された引用         : 100
リクエストされたAPIページ : 10
経過時間               : 3.8

export SCRAPELESS_API_KEY="your-api-key"
python3 scroll_demo.py

playwright 1.59.0
--- サーバーが実際に送信する内容 ---
スクロールページのバイト数     : 2671
HTML内の引用要素               : 0
--- 固定のスクロール数 ---
5回のスクロール後の引用数     : 60
経過時間                       : 5.1
--- カウントが増えなくなるまでスクロール ---
収集された引用                 : 100
実行されたスクロール動作       : 11
経過時間                       : 11.1
ページが行ったAPI呼び出し数   : 10
最初のAPI URL                 : https://quotes.toscrape.com/api/quotes?page=1
--- Scraping Browserで同じループを実行 ---
収集された引用                 : 100
実行されたスクロール動作       : 3
--- 同じAPIを直接読み取る ---
収集された引用                 : 100
リクエストされたAPIページ      : 10
経過時間                       : 3.8

最後の行の比率は、ブラウザループの壁時計と直接の読み取りを比較しています。ブラウザ側のほとんどはスクロール間の意図的な1秒の遅延であるため、ページを条件のためにポーリングするコストとして読むべきです — ブラウザ自体のベンチマークとしては読みません。

## トラブルシューティング

**カウントが止まらない。** 一部のページはそのコンテンツをループさせます。安定性チェックとともに最大スクロールカウントでループを制限し、そのキャップに達した場合は、完了した実行としてではなくページを点検するシグナルとみなしてください。

**スクロール後もアイテムがゼロ。** コンテナがウィンドウの代わりにスクロールするかもしれません。`page.locator(...).hover()` の後に `page.mouse.wheel(...)` を使用して要素自体をスクロールするか、最後のアイテムに対して `scroll_into_view_if_needed()` を呼び出します。

**カウントが増え、その後ページが真っ白に。** 長いリストはしばしば仮想化されており、行はビューポートから離れるとDOMから削除されます。すべてを読み取るのではなく、進行中にアイテムを収集してください。

**ヘッドレスではなくヘッドで動作します。** ビューポートサイズは両者で異なるため、一回のホイールイベントがどれだけ移動するかやローダーが表示されるかが変わります。コンテキストで明示的なビューポートを設定してください。

**`playwright._impl._errors.Error: 実行可能ファイルが存在しません。`** ブラウザバイナリはダウンロードされていませんでした。`playwright install chromium` を実行してください。

## 結論

無限スクロールは「すべてを取得したのか？」を、スクレイパーが自分で答えなければならない質問に変え、固定スクロールカウントは推測して答えます。ここでの測定は、そのコストを示しています：5回のスクロールから100アイテム中60アイテムが得られ、別のブラウザに移動することでスクロールカウントが11から3に変わりました。

観測した条件 — 連続した読み取りの間でアイテムカウントが安定していること — に基づいてループしてください。ループを書く前に、ページのリクエストを観察してください：コンテンツが `has_next` フラグ付きのJSONとして到着すると、ページはすでに完了したかどうかを知る方法を教えてくれています。

試してみる準備はできましたか？ <a href="https://app.scrapeless.com/passport/login?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=infinite-scroll-web-scraping"><strong>Scrapelessの無料プランを開始</strong></a>し、<a href="https://www.scrapeless.com/ja/pricing?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=infinite-scroll-web-scraping"><strong>現在の価格</strong></a>を確認してください。

## FAQ

**Q: 何回スクロールすべきですか？**

数を選ばないでください。上記の測定は2つのブラウザに対して1回のループを使用し、同じ100アイテムのために1つでは11回、もう1つでは3回のスクロールが必要でした。ビューポートの高さやバッチのタイミングが、各ホイールイベントが進む距離を決定します。アイテムカウントがまだ増えている間はループを続け、2回安定した後に停止してください。

**Q: ページのすべての読み込みが完了したかどうかはどうやってわかりますか？**

アイテムカウントが変わらない2回の連続読み取りが実用的なシグナルです。なぜなら、単一のフラットな読み取りは、まだ処理中のバッチと区別がつかないからです。ページの基礎となるリクエストが `has_next` のようなフラグを示す場合、それは推測ではなく明確な答えです。

**Q: 無限スクロールのためにブラウザは本当に必要ですか？**

しばしば必要ありません。このデモページは100アイテムすべてを直接読み取れるJSONエンドポイントからコンテンツをロードします。ブラウザは、エンドポイントを見つけるための手段です — リクエストリスナーをアタッチし、一度スクロールしてURLを読み取ります。スクロール時にサーバーサイドでレンダリングするサイトやリクエストに署名するサイトはブラウザが必要です。

**Q: スクレイパーがページに表示されるよりも少ないアイテムを返すのはなぜですか？**

ループが早く停止したか、リストが仮想化されていて行がスクロールアウトしてDOMから削除された可能性があります。各スクロール後にアイテムカウントを印刷してください：カウントが上昇し、その後減少する場合は仮想化を示し、ループが終了した時点でカウントがまだ上昇している場合はループが早すぎたことを示します。

**Q: `wait_until="networkidle"`で解決しますか？**

いいえ。最初の読み込みが落ち着くまで待ちますが、これはスクロールがフェッチを引き起こす前に起こります。バッチはスクロールイベントに応じて到着するため、ページはアイドル状態でほぼ空っぽであることがあります — まさに最初に測定された2,671バイトの状態です。