Lấy dữ liệu cuộn vô hạn: Ngừng đoán xem phải cuộn bao nhiêu lần

def served_html() -> tuple[int, int]:
    request = urllib.request.Request(SCROLL_URL, headers={"User-Agent": UA})
    with urllib.request.urlopen(request, timeout=45) as response:
        html = response.read().decode("utf-8", "replace")
    return len(html), html.count('class="quote"')

bytes của trang cuộn       : 2671
phần tử quote trong html   : 0

pip install playwright
playwright install chromium

def scroll_fixed(page, times: int, pause: float) -> int:
    for _ in range(times):
        page.mouse.wheel(0, 20000)
        time.sleep(pause)
    return page.locator("div.quote").count()

quotes sau 5 lần cuộn   : 60
thời gian đã trôi qua    : 5.1

def scroll_until_stable(page, pause: float, no_growth_limit: int = 2) -> tuple[int, int]:
    seen = page.locator("div.quote").count()
    scrolls = 0
    stable = 0
    while stable < no_growth_limit:
        page.mouse.wheel(0, 20000)
        time.sleep(pause)
        scrolls += 1
        count = page.locator("div.quote").count()
        if count == seen:
            stable += 1
        else:
            stable = 0
            seen = count
    return seen, scrolls

quotes đã thu thập           : 100
hành động cuộn đã thực hiện : 11
thời gian đã trôi qua        : 11.1
các cuộc gọi API mà trang đã thực hiện : 10
url api đầu tiên             : https://quotes.toscrape.com/api/quotes?page=1

số câu trích dẫn thu thập được : 100
số hành động cuộn được thực hiện : 3

    endpoint = (
        "wss://browser.scrapeless.com/api/v2/browser"
        f"?token={os.environ['SCRAPELESS_API_KEY']}&sessionTTL=180&proxyCountry=ANY"
    )
    with sync_playwright() as p:
        browser = p.chromium.connect_over_cdp(endpoint, timeout=90000)
        page = browser.new_page()
        page.goto(SCROLL_URL, wait_until="domcontentloaded")
        cloud_total, cloud_scrolls = scroll_until_stable(page, pause=1.0)

        calls: list[str] = []
        context = browser.new_context(user_agent=UA)
        context.on("request", lambda r: calls.append(r.url) if "/api/quotes" in r.url else None)

def read_api() -> tuple[int, int]:
    quotes = 0
    page = 1
    while True:
        request = urllib.request.Request(API_URL.format(page=page), headers={"User-Agent": UA})
        with urllib.request.urlopen(request, timeout=45) as response:
            payload = json.loads(response.read().decode())
        quotes += len(payload["quotes"])
        if not payload["has_next"]:
            return quotes, page
        page += 1

số câu trích dẫn thu thập được : 100
số trang api được yêu cầu     : 10
thời gian đã trôi qua         : 3.8

export SCRAPELESS_API_KEY="your-api-key"
python3 scroll_demo.py

playwright 1.59.0
--- những gì máy chủ thực sự gửi ---
số byte trang cuộn        : 2671
số phần tử trích dẫn trong html: 0
--- số lượng cuộn cố định ---
số câu trích dẫn sau 5 lần cuộn   : 60
thời gian đã trôi qua         : 5.1
--- cuộn cho đến khi số lượng dừng tăng ---
số câu trích dẫn thu thập được : 100
số hành động cuộn được thực hiện : 11
thời gian đã trôi qua          : 11.1
số cuộc gọi api mà trang đã thực hiện  : 10
địa chỉ url api đầu tiên            : https://quotes.toscrape.com/api/quotes?page=1
--- vòng lặp giống hệt trên Trình duyệt Cào ---
số câu trích dẫn thu thập được : 100
số hành động cuộn được thực hiện : 3
--- đọc cùng một api trực tiếp ---
số câu trích dẫn thu thập được : 100
số trang api được yêu cầu     : 10
thời gian đã trôi qua         : 3.8

Tỷ lệ ở dòng cuối cùng so sánh đồng hồ tường của vòng lặp trình duyệt với các lần đọc trực tiếp. Hầu hết phần bên trình duyệt là khoảng dừng một giây có chủ đích giữa các lần cuộn, vì vậy hãy hiểu rằng đó là chi phí của việc truy vấn một trang vì điều kiện mà nó không bao giờ báo cáo - không phải là một thước đo của chính trình duyệt.

## Khắc phục sự cố

**Số lượng không bao giờ dừng lại.** Một số trang lặp lại nội dung của chúng. Giới hạn vòng lặp với số lượng cuộn tối đa cùng với kiểm tra sự ổn định, và coi việc chạm vào giới hạn đó như một tín hiệu để kiểm tra trang thay vì như một lần chạy hoàn tất.

**Không có mục nào ngay cả sau khi cuộn.** Có thể hộp chứa cuộn thay vì cửa sổ. Cuộn chính nó với `page.locator(...).hover()` theo sau bởi `page.mouse.wheel(...)`, hoặc gọi `scroll_into_view_if_needed()` trên mục cuối cùng.

**Số lượng tăng lên, sau đó trang trở nên trống rỗng.** Danh sách dài thường được ảo hóa, vì vậy các hàng bị xóa khỏi DOM khi chúng rời khỏi vùng nhìn. Thu thập các mục khi bạn đi thay vì đọc tất cả vào cuối.

**Nó hoạt động ở chế độ có đầu và không có đầu.** Kích thước viewport khác nhau giữa hai chế độ, điều này thay đổi khoảng cách mà một sự kiện cuộn di chuyển và liệu bộ tải có vào xem được hay không. Đặt một viewport rõ ràng trên ngữ cảnh.

**`playwright._impl._errors.Error: Executable doesn't exist`.** Tệp nhị phân trình duyệt chưa bao giờ được tải xuống. Chạy `playwright install chromium`.

## Kết luận

Cuộn vô hạn biến “tôi đã lấy mọi thứ chưa?” thành một câu hỏi mà trình thu thập dữ liệu của bạn phải tự trả lời, và một số lượng cuộn cố định trả lời bằng cách đoán. Các phép đo ở đây cho thấy điều đó tốn kém như thế nào: 60 mục out of 100 từ năm lần cuộn, và số lượng cuộn thay đổi từ 11 xuống 3 chỉ bằng cách chuyển sang một trình duyệt khác.

Lặp lại trên điều kiện quan sát được - số lượng mục ổn định trong các lần đọc liên tiếp - thay vì một con số bạn chọn. Và trước khi viết vòng lặp, hãy theo dõi các yêu cầu của trang: khi nội dung đến dưới dạng JSON với cờ `has_next`, trang đã cho bạn biết khi nào bạn đã hoàn tất.

Sẵn sàng thử chưa? <a href="https://app.scrapeless.com/passport/login?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=infinite-scroll-web-scraping"><strong>Bắt đầu với gói miễn phí của Scrapeless</strong></a> và xem <a href="https://www.scrapeless.com/vi/pricing?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=infinite-scroll-web-scraping"><strong>giá hiện tại</strong></a> cho các khối lượng cao hơn.

## Câu hỏi thường gặp

**Q: Tôi nên cuộn bao nhiêu lần?**

Đừng chọn một con số. Các phép đo ở trên sử dụng một vòng lặp so với hai trình duyệt và cần 11 lần cuộn ở một và 3 ở cái kia cho cùng 100 mục, vì chiều cao viewport và thời gian lô quyết định khoảng cách mà mỗi sự kiện cuộn đi xa. Lặp lại trong khi số lượng mục vẫn đang tăng và dừng lại sau khi nó giữ ổn định hai lần.

**Q: Làm thế nào để tôi biết trang đã tải xong mọi thứ chưa?**

Hai lần đọc liên tiếp với số lượng mục không thay đổi là tín hiệu thực tế, vì một lần đọc phẳng đơn lẻ là không thể phân biệt với một lô vẫn đang bay. Nếu yêu cầu cơ bản của trang tiết lộ một cờ như `has_next`, đó là một câu trả lời chắc chắn hơn là một suy luận.

**Q: Tôi có cần một trình duyệt cho cuộn vô hạn không?**

Thường thì không. Trang demo ở đây tải nội dung của nó từ một điểm cuối JSON mà có thể được đọc trực tiếp cho tất cả 100 mục. Trình duyệt vẫn là cách bạn phát hiện ra điểm cuối đó - gắn một trình lắng nghe yêu cầu, cuộn một lần và đọc các URL. Các trang được phân phối phía máy chủ khi cuộn hoặc ký các yêu cầu của chúng cần trình duyệt.

**Q: Tại sao trình thu thập dữ liệu của tôi trả về ít mục hơn số lượng trang hiển thị?**

Hoặc là vòng lặp dừng lại sớm, hoặc danh sách được ảo hóa và các hàng đã bị xóa khỏi DOM khi chúng cuộn ra khỏi tầm nhìn. In số lượng mục sau mỗi lần cuộn: một số lượng tăng lên rồi giảm xuống cho thấy sự ảo hóa, và một số lượng vẫn tăng khi vòng lặp kết thúc cho thấy vòng lặp dừng lại quá sớm.

**Q: Liệu `wait_until="networkidle"` có giải quyết được điều này không?**

Không. Nó chờ cho tải ban đầu ổn định, điều đó xảy ra trước khi bất kỳ cuộn nào kích hoạt việc lấy dữ liệu. Các lô đến là phản hồi cho các sự kiện cuộn, vì vậy trang có thể ở trạng thái nhàn rỗi và gần như trống rỗng cùng một lúc - đó chính là trạng thái 2.671 byte được đo vào lúc bắt đầu.