Loading Light/Dark Toggle
Quay lại blog

Google SERP API Phân trang: Thu thập kết quả với start

Alex Johnson
Alex Johnson

Senior Web Scraping Engineer

12-Nov-2026

Tóm tắt nhanh:

  • Phân trang tìm kiếm web của Google dùng chỉ số bắt đầu (start offset). Giữ nguyên truy vấn và ngôn ngữ khi yêu cầu các offset 0, 10, 20, và tiếp tục.
  • Mười trang không đồng nghĩa với một trăm kết quả organic. Một bộ sưu tập coffee đã thực hiện trả về 95 bản ghi trên mười trang.
  • Khử trùng lặp cần một định nghĩa rõ ràng. 95 bản ghi đó chứa 85 chuỗi liên kết trả về khác nhau, không phải 85 trang đích duy nhất đã được kiểm chứng.
  • Vòng lặp có giới hạn cần một lý do dừng được ghi lại. Mảng rỗng, các trang lặp lại, lỗi và giới hạn số trang thể hiện những kết quả khác nhau.

Giới thiệu: Thu thập nhiều hơn trang đầu tiên

Phân trang Google SERP API là một chuỗi các quan sát liên quan. Mỗi yêu cầu hỏi một offset khác của cùng một tìm kiếm, và mỗi phản hồi cần ngữ cảnh riêng của nó.

Hướng dẫn này dùng Scrapeless Google Search API để yêu cầu tối đa mười trang tìm kiếm web. Nó lưu lại từng phản hồi, giữ offset bên cạnh mỗi bản ghi được giữ lại, và phân biệt các dòng thô với các chuỗi liên kết đã khử trùng lặp. Ví dụ này hữu ích cho việc khám phá chủ đề sâu hơn và kiểm tra phạm vi tìm kiếm. Nó không thiết lập một bộ dữ liệu xếp hạng top 100 hoàn chỉnh.

Các điều khiển endpoint Google Search định nghĩa offset tìm kiếm web, trong khi mẫu yêu cầu actor giải thích lời gọi API bao quanh. Giữ cố định chế độ tìm kiếm trong suốt quá trình thu thập.

Cách tham số start thay đổi yêu cầu

Tham số start chọn offset kết quả cho một yêu cầu tìm kiếm web. Chuỗi trang thông thường là 0, 10, 20, v.v.

Offset là một điều khiển của yêu cầu, không phải là số lượng bản ghi organic mà phản hồi trước đó tình cờ chứa. Nếu một trang trả về chín bản ghi organic, yêu cầu tiếp theo trong ví dụ này vẫn dùng offset được cấu hình kế tiếp. Tăng len(organic_results) sẽ trộn lẫn số lượng phản hồi với giao kèo phân trang.

Giữ nguyên q, gl, hl, và bất kỳ bộ lọc tường minh nào. Nếu bạn thay đổi quốc gia giữa chừng một lượt chạy, mảng kết hợp sẽ không còn mô tả một cấu hình tìm kiếm duy nhất nữa. Lưu toàn bộ đối tượng đầu vào với mỗi trang để lỗi này vẫn có thể được phát hiện.

Ví dụ này bỏ qua num và tbm. Đây là một ví dụ phân trang tìm kiếm web; các chế độ khác phải được kiểm tra riêng. Tham khảo các định nghĩa tham số hiện tại thay vì chuyển offset giữa các chế độ.

Ví dụ mười trang với kích thước trang không đều nhau

Một bộ sưu tập cho q=coffee, gl=us, và hl=en đã trả về các bản ghi organic trên cả mười offset được yêu cầu. Mỗi yêu cầu đều hoàn tất với HTTP 200 trong mẫu này.

start Bản ghi Organic trả về
0 9
10 9
20 9
30 9
40 10
50 10
60 10
70 9
80 10
90 10
Tổng 95

Sự trùng khớp chính xác của các chuỗi link trả về tạo ra 85 giá trị khác nhau. Phép tính đó không theo dõi chuyển hướng, không so sánh thẻ canonical, và không thiết lập tính đồng nhất về nội dung. Hai liên kết khác nhau có thể dẫn đến một trang; hai trang khác nhau cũng có thể dùng chung một tên miền. Cả việc nhóm theo hostname lẫn so sánh chuỗi thô đều không chứng minh được phạm vi trang đích là duy nhất.

Ví dụ này cho thấy các offset đã cấu hình trả về dữ liệu trong một lần thu thập. Nó không đảm bảo rằng mọi truy vấn sẽ hiển thị mười trang không rỗng. Kết quả tìm kiếm có thể thay đổi trong khi một bộ thu thập đa yêu cầu đang chạy.

Xây dựng bộ thu thập phân trang có giới hạn

Bộ thu thập gửi tối đa mười yêu cầu tìm kiếm, lưu mỗi phản hồi hoàn tất, và dừng sớm khi thấy một mảng organic rỗng hoặc một trang kết quả giống hệt. Nó ghi nhận lỗi là lỗi và giữ lại dữ liệu đã thu thập trước đó.

Yêu cầu chuẩn bị gồm Python, Requests, và SCRAPELESS_API_KEY được đặt trong môi trường. Cài Requests bằng python -m pip install requests, lưu chương trình thành paginate_google.py, và chạy python paginate_google.py. Kết quả đầu ra sẽ được ghi vào một thư mục mới dưới pagination-runs.
Trình trợ giúp yêu cầu xử lý cả tác vụ đã hoàn thành và đang chờ. Nó gửi từng tìm kiếm một lần và sử dụng endpoint kết quả của tác vụ hiện có khi cần. Quy trình làm việc cho tác vụ đang chờ định nghĩa sự khác biệt đó; các giới hạn trong mã là các lựa chọn chính sách cục bộ.

python Copy
import json
import os
import time
from pathlib import Path
from urllib.parse import quote

import requests

BASE = "https://api.scrapeless.com/api/v1/scraper"


def google_search(query):
    headers = {"x-api-token": os.environ["SCRAPELESS_API_KEY"]}
    response = requests.post(
        BASE + "/request", headers=headers,
        json={"actor": "scraper.google.search", "input": query},
        timeout=(10, 60), allow_redirects=False,
    )
    task_id = None
    for poll in range(11):
        response.raise_for_status()
        if response.status_code not in (200, 201):
            raise RuntimeError(f"Unexpected HTTP status: {response.status_code}")
        data = response.json()
        if not isinstance(data, dict):
            raise ValueError("Expected a JSON object")
        if response.status_code == 200:
            return data
        if task_id is None:
            task_id = data.get("taskId")
        if not isinstance(task_id, str) or not task_id:
            raise ValueError("Pending response has no taskId")
        if poll == 10:
            raise TimeoutError(f"Task still pending; retain taskId={task_id}")
        time.sleep(2)
        response = requests.get(
            BASE + "/result/" + quote(task_id, safe=""),
            headers=headers, timeout=(10, 30), allow_redirects=False,
        )


def organic_rows(data):
    rows = data.get("organic_results")
    if not isinstance(rows, list):
        raise ValueError("organic_results is missing or is not an array")
    if not all(isinstance(row, dict) for row in rows):
        raise ValueError("organic_results contains a non-object item")
    return rows


if __name__ == "__main__":
    from datetime import datetime, timezone
    run_dir = Path("pagination-runs") / datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%S%fZ")
    run_dir.mkdir(parents=True)
    seen_links = set()
    seen_pages = set()
    collected = []
    summary = []
    stop_reason = "page_limit"
    try:
        for start in range(0, 100, 10):
            query = {"q": "coffee", "gl": "us", "hl": "en", "start": start}
            data = google_search(query)
            (run_dir / f"page-{start}.json").write_text(
                json.dumps({"input": query, "response": data}, ensure_ascii=False, indent=2),
                encoding="utf-8",
            )
            rows = organic_rows(data)
            signature = json.dumps(rows, sort_keys=True, ensure_ascii=False)
            repeat = bool(rows) and signature in seen_pages
            seen_pages.add(signature)
            new_count = 0
            for index, row in enumerate(rows, start=1):
                link = row.get("link")
                usable_link = isinstance(link, str) and bool(link.strip())
                if usable_link and link in seen_links:
                    continue
                if usable_link:
                    seen_links.add(link)
                collected.append({"start": start, "array_index": index, "result": row})
                new_count += 1
            summary.append({"start": start, "returned": len(rows), "kept": new_count})
            if not rows:
                stop_reason = "empty_organic_array"
                break
            if repeat:
                stop_reason = "identical_result_page"
                break
    except (requests.RequestException, ValueError, RuntimeError, TimeoutError) as exc:
        stop_reason = "error:" + type(exc).__name__
        raise
    finally:
        (run_dir / "collected.json").write_text(json.dumps(collected, ensure_ascii=False, indent=2), encoding="utf-8")
        report = {"pages": summary, "stop_reason": stop_reason, "kept_rows": len(collected)}
        (run_dir / "summary.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
        print(json.dumps(report))

Khối finally ghi một bản tóm tắt ngay cả khi một trang sau đó bị lỗi. Một trang bị lỗi không được thêm vào như một trang trống. Các tệp trang đã lưu trước đó vẫn có sẵn để kiểm tra, và ngoại lệ được ném ra vẫn khiến chương trình lỗi một cách rõ ràng.

Bắt đầu Scraping với Scrapeless

Tăng sức mạnh cho quy trình web scraping và tự động hóa của bạn với Scrapeless!
Đăng ký hôm nay và nhận $5 tín dụng miễn phí — không cần thẻ tín dụng.

Nhận tín dụng miễn phí ngay bây giờ trong Bảng điều khiển Scrapeless.

Chọn Quy tắc Khử Trùng Lặp Thận Trọng

Bộ thu thập khử trùng lặp chính xác các chuỗi liên kết được trả về không rỗng và giữ lại các hàng thiếu liên kết. Chính sách đó dễ kiểm toán vì nó không viết lại các thành phần URL.

Mô hình chuẩn hóa URI giải thích tại sao so sánh URL cần các quy tắc tường minh. Việc xóa mù quáng query string, thay đổi chữ hoa chữ thường của path, hoặc gộp các biến thể dấu gạch chéo có thể xóa bỏ những khác biệt có ý nghĩa. Chỉ thêm chuẩn hóa mạnh hơn sau khi xác minh các website đích liên quan.

Tất cả bản ghi trang thô vẫn nằm trong các tệp trang, ngay cả khi đầu ra kết hợp chỉ giữ lần xuất hiện đầu tiên của một liên kết lặp lại. Để phân tích tần suất xuất hiện, hãy đọc các tệp trang đó thay vì bộ sưu tập đã khử trùng lặp. Nếu không bạn sẽ mất bằng chứng rằng một liên kết xuất hiện ở nhiều vị trí offset.

Cơ chế bảo vệ trang lặp lại so sánh các bản ghi kết quả đã được tuần tự hóa. Nó phát hiện dữ liệu lặp lại chính xác; nó không tuyên bố nhận diện mọi SERP gần giống nhau. Một giới hạn trang hữu hạn vẫn là cần thiết vì các thay đổi nhỏ trong trường có thể khiến hai phản hồi trông giống nhau so sánh khác nhau.

Diễn Giải Các Trang Trống và Các Lần Chạy Một Phần

Một mảng organic trống là điều kiện dừng trong bộ thu thập này, không phải bằng chứng rằng Google không còn trang được lập chỉ mục nào về chủ đề đó. Các mảng bị thiếu và bản ghi không hợp lệ vẫn là lỗi xác thực.

Lý Do Dừng Những Gì Bộ Thu Thập Quan Sát Diễn Giải An Toàn
page_limit Đã đạt đến hạn mức trang được cấu hình Bộ sưu tập hoàn chỉnh đến hạn mức đã cấu hình
empty_organic_array Một phản hồi hoàn chỉnh có 0 bản ghi organic Lần chạy này dừng tại offset đó
identical_result_page Các bản ghi organic lặp lại chính xác Thu thập tiếp đã bị dừng bởi cơ chế bảo vệ
error:... Một bước yêu cầu hoặc phân tích bị lỗi Bộ dữ liệu là một phần

Nghĩa vụ trạng thái HTTP chung giúp phân biệt các kết quả truyền tải, trong khi ứng dụng của bạn vẫn phải ghi nhận tính đầy đủ của lần thu thập. Một trang đầu tiên thành công không khiến một trang sau đó bị lỗi trở nên thành công.

Đối với công việc theo lịch, hãy gán một định danh lần chạy và giữ lại dấu thời gian, đầu vào, offset và lý do dừng. Điều này tuân theo mục đích thực tiễn của nguồn gốc dữ liệu (data provenance): những người sử dụng sau này phải có thể truy vết một bộ dữ liệu dẫn xuất trở lại các quan sát và biến đổi đã tạo ra nó.

Kết Luận: Báo Cáo Độ Sâu và Độ Bao Phủ Riêng Biệt

Một báo cáo phân trang nên hiển thị các offset được yêu cầu, các trang đã hoàn thành, số dòng thô và quy tắc khử trùng lặp. Những phép đo đó trả lời các câu hỏi khác nhau và nên được giữ tách biệt trong cả mã và diễn giải bằng lời.

Sử dụng trang sản phẩm Google Search API để biết chi tiết dịch vụ và bảng giá hiện tại khi lập ngân sách cho các bộ sưu tập sâu hơn. Hạn mức mười trang là một thiết lập thu thập, không phải là lời hứa về một trăm URL cuối cùng.

Xây Dựng Quy Trình Dữ Liệu Tìm Kiếm Của Bạn

Tham gia cùng các lập trình viên làm việc với dữ liệu tìm kiếm trong cộng đồng của chúng tôi: Discord · Telegram.

Tạo một tài khoản Scrapeless và áp dụng hướng dẫn này cho một tập truy vấn nhỏ trước khi lên lịch cho một bộ sưu tập lớn hơn.

Câu Hỏi Thường Gặp

H: Tham số start có nên tăng theo số dòng trả về không?
Không. Hãy tuân theo chuỗi offset tìm kiếm web. Một trang với chín bản ghi tự nhiên không làm thay đổi offset được cấu hình tiếp theo.

H: Bộ sưu tập mười trang có luôn trả về một trăm kết quả không?

Không. Bộ sưu tập đã xử lý trả về 95 bản ghi tự nhiên. Kích thước trang và khả dụng phải được đo từ mỗi phản hồi.

H: 85 chuỗi liên kết phân biệt có giống với 85 trang web duy nhất không?

Không. Khử trùng lặp chuỗi chính xác không xác minh chuyển hướng, danh tính canonical hoặc nội dung trang.

H: Lỗi HTTP có nên được lưu dưới dạng một trang trống không?

Không. Lưu lỗi riêng và đánh dấu lượt chạy là không đầy đủ. Một mảng hoàn thành trống mang ý nghĩa khác.

H: Có cần phải lấy pagination.next trực tiếp từ Google không?

Không. Client này giữ các yêu cầu trên endpoint Scrapeless và cung cấp giá trị start đã được cấu hình. Nó không lấy trực tiếp các URL điều hướng của Google.

H: Bộ thu thập có thể chạy mà không cần tác nhân AI không?

Có. Nó là một chương trình Python độc lập với một vòng lặp trang tuần tự bị giới hạn.

Tại Scrapless, chúng tôi chỉ truy cập dữ liệu có sẵn công khai trong khi tuân thủ nghiêm ngặt các luật, quy định và chính sách bảo mật trang web hiện hành. Nội dung trong blog này chỉ nhằm mục đích trình diễn và không liên quan đến bất kỳ hoạt động bất hợp pháp hoặc vi phạm nào. Chúng tôi không đảm bảo và từ chối mọi trách nhiệm đối với việc sử dụng thông tin từ blog này hoặc các liên kết của bên thứ ba. Trước khi tham gia vào bất kỳ hoạt động cạo nào, hãy tham khảo ý kiến ​​cố vấn pháp lý của bạn và xem xét các điều khoản dịch vụ của trang web mục tiêu hoặc có được các quyền cần thiết.

Bài viết phổ biến nhất

Danh mục