Loading Light/Dark Toggle
Quay lại blog

Google SERP API HTML thô: Truy xuất và xác thực rawUrl

Alex Johnson
Alex Johnson

Senior Web Scraping Engineer

12-Nov-2026

Tóm tắt nhanh:

  • metadata.rawUrl trỏ tới HTML SERP của Google đã được lưu trữ. Fetch URL đó sau khi phản hồi JSON hoàn tất được trả về.
  • Việc lấy HTML là một yêu cầu HTTP thứ hai. Phản hồi tìm kiếm không nhúng tài liệu đã tải xuống vào chính trường đó.
  • Các kiểm tra tài liệu cung cấp bằng chứng nhưng có giới hạn. Trạng thái, loại media, số byte và cấu trúc giúp phát hiện vấn đề nhưng không chứng minh mọi đặc điểm đều đầy đủ.
  • Giữ lại bytes gốc và một checksum. Bản sao cục bộ vẫn có thể được kiểm tra độc lập với việc liên kết lưu trữ từ xa có sẵn hay không.

Giới thiệu: Giữ lại Trang phía sau Kết quả đã được Parse

Dữ liệu tìm kiếm có cấu trúc rất tiện cho phân tích, nhưng một trường JSON đơn lẻ không thể hiển thị mọi thứ về trang mà nó được trích xuất. Một tài liệu HTML đã lưu cho bạn thêm một bề mặt để kiểm tra khi một kết quả cần được giải thích.

Scrapeless Google Search API có thể trả về metadata.rawUrl cùng với kết quả có cấu trúc. Hướng dẫn Google SERP API raw HTML này truy xuất tài liệu đó và kiểm tra những gì đã được tải xuống. Mục tiêu là một hiện vật cục bộ có thể kiểm toán, chứ không phải tuyên bố rằng markup đã lưu tái tạo mọi tương tác của một trang trình duyệt trực tiếp.

Phản hồi quickstart Google Search cho thấy trường này dưới metadata. Mô hình request actor rộng hơn cung cấp dữ liệu tìm kiếm trước; việc tải HTML diễn ra sau đó.

rawUrl Đại diện cho Điều gì

Giá trị rawUrl là một URL cho tài liệu trang đã lưu được gắn với phản hồi. Nó không phải là URL đích cuối cùng của một kết quả tìm kiếm tự nhiên.

Hãy giữ ba địa chỉ tách biệt về mặt khái niệm: endpoint API nhận truy vấn tìm kiếm, địa chỉ HTML SERP đã lưu, và một liên kết kết quả có thể dẫn đến trang của nhà xuất bản. Tải xuống tài liệu SERP không truy xuất mọi bài viết, sản phẩm, hay trang doanh nghiệp được liên kết.

Đừng tự xây dựng đường dẫn lưu trữ từ truy vấn hoặc ID tác vụ. Hãy đọc chính xác URL từ phản hồi đã hoàn tất. Vị trí lưu trữ là một giá trị đầu ra, và một địa chỉ được sao chép từ ví dụ trong tài liệu không phải là bằng chứng cho yêu cầu của riêng bạn.

Một rawUrl bị thiếu nên trở thành một trạng thái “HTML không khả dụng” rõ ràng trong workflow của bạn. Nó không nên được thay thế bằng một URL tìm kiếm Google mới được dựng, vì điều đó sẽ khởi tạo một quan sát khác.

Lấy JSON Trước khi Tải HTML

Tác vụ tìm kiếm phải hoàn tất trước khi chương trình fetch HTML đọc metadata của nó. Nếu tìm kiếm trả về HTTP 201, hãy dùng workflow kết quả tác vụ để lấy đối tượng đã hoàn tất trước.

Script bên dưới kỳ vọng đối tượng đó được lưu là serp.json. Các điều kiện tiên quyết khác của nó là Python và Requests, được cài đặt với python -m pip install requests. Lưu nó thành fetch_serp_html.py và chạy python fetch_serp_html.py cạnh phản hồi đã lưu.

URL lưu trữ quan sát được sử dụng HTTPS trên api.scrapeless.com dưới /storage/. Chương trình giới hạn tải xuống vào host và dạng đường dẫn đã quan sát đó, không theo bất kỳ redirect nào, và không gửi header API-key tới lưu trữ. Một thay đổi trong tương lai đối với host lưu trữ nên kích hoạt việc rà soát lại quy tắc thay vì một lệnh fetch không giới hạn.

Các kiểm tra URL cần xem xét các thành phần chứ không phải chuỗi con. Đặc tả cú pháp URI định nghĩa scheme, authority, path, và các thành phần khác được dùng trong việc kiểm tra đó.

python Copy
import hashlib
import json
from html.parser import HTMLParser
from pathlib import Path
from urllib.parse import urlsplit

import requests


class DocumentShape(HTMLParser):
    def __init__(self):
        super().__init__()
        self.opened = set()
        self.closed = set()
    def handle_starttag(self, tag, attrs):
        self.opened.add(tag)
    def handle_endtag(self, tag):
        self.closed.add(tag)


data = json.loads(Path("serp.json").read_text(encoding="utf-8"))
metadata = data.get("metadata")
raw_url = metadata.get("rawUrl") if isinstance(metadata, dict) else None
if not isinstance(raw_url, str) or not raw_url:
    raise ValueError("metadata.rawUrl is absent")
parts = urlsplit(raw_url)
if (parts.scheme != "https" or parts.hostname != "api.scrapeless.com"
        or parts.port not in (None, 443) or parts.username or parts.password
        or not parts.path.startswith("/storage/")):
    raise ValueError("Storage URL needs review before downloading")

# The storage fetch uses no API-key header and follows no redirects.
with requests.get(raw_url, timeout=(10, 60), stream=True, allow_redirects=False) as response:
    response.raise_for_status()
    if response.status_code != 200:
        raise ValueError(f"Unexpected storage status: {response.status_code}")
    media_type = response.headers.get("Content-Type", "").split(";")[0].lower()
    if media_type not in ("text/html", "application/xhtml+xml"):
        raise ValueError(f"Unexpected media type: {media_type}")
    chunks = []
    size = 0
    for chunk in response.iter_content(65536):
        size += len(chunk)
        if size > 10 * 1024 * 1024:
            raise ValueError("HTML exceeds this example's local size limit")
        chunks.append(chunk)
    html_bytes = b"".join(chunks)

if not html_bytes:
    raise ValueError("Empty HTML body")
Path("serp.html").write_bytes(html_bytes)
shape = DocumentShape()
shape.feed(html_bytes.decode("utf-8", errors="replace"))
report = {
    "bytes": len(html_bytes),
    "sha256": hashlib.sha256(html_bytes).hexdigest(),
    "has_html": "html" in shape.opened,
    "has_body": "body" in shape.opened,
    "has_closing_html": "html" in shape.closed,
    "source_url": raw_url,
}
Path("serp-html-check.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps({key: value for key, value in report.items() if key != "source_url"}))

Giới hạn mười mebibyte cục bộ là một biện pháp bảo vệ phía client ví dụ, không phải kích thước HTML tối đa của API. Một tài liệu lớn hơn là lý do để rà soát lại khối lượng công việc kỳ vọng của bạn và điều chỉnh chính sách cục bộ một cách có chủ đích. Chương trình chỉ ghi bytes sau một lần tải xuống thành công nằm trong giới hạn.

Bắt đầu Scraping với Scrapeless

Tăng sức mạnh cho workflow web scraping và tự động hóa của bạn với Scrapeless!
Đăng ký hôm nay để nhận $5 credit miễn phí — không cần thẻ tín dụng.

Nhận credit miễn phí ngay trong Scrapeless Dashboard.

Kiểm tra Tệp Tải Xuống ở Nhiều Cấp

Một kiểm tra HTML hữu ích ghi nhận thành công của lớp truyền tải, loại tài liệu, kích thước payload, cấu trúc, và sự tương ứng với truy vấn gốc. Không một kiểm tra đơn lẻ nào chứng minh được tất cả.
Phản hồi coffee cơ bản được sử dụng cho hướng dẫn này đã dẫn đến một yêu cầu thứ hai với HTTP 200 và Content-Type: text/html. Tệp tải xuống chứa 1.938.204 byte và bao gồm các phần tử html và body mở cùng với một phần tử html đóng. Đây là các quan sát từ một tài liệu đã lưu, không phải là yêu cầu về kích thước tối thiểu cho các phản hồi sau.

Check Điều Nó Xác Lập Điều Nó Không Xác Lập
HTTP status Yêu cầu lưu trữ đã hoàn tất như mong đợi Tài liệu chứa kết quả như dự định
Media type Máy chủ nhận diện biểu diễn là HTML Mọi tính năng tìm kiếm đều hiện diện
Nonempty bytes Một phần thân đã được tải xuống Phần thân là đúng trang
Document elements Cấu trúc đánh dấu cơ bản tồn tại Tính đầy đủ về ngữ nghĩa hoặc độ trung thực khi hiển thị
Checksum Có thể so sánh các byte về sau với bản đã lưu Tính xác thực của mọi phát biểu trên trang
Query and result inspection Tài liệu tương ứng với các chi tiết phản hồi đã chọn Tính đầy đủ của mọi mô-đun tìm kiếm có thể có

Ý nghĩa của các header phản hồi và các biểu diễn nội dung được định nghĩa bởi ngữ nghĩa biểu diễn HTTP. Hãy coi kiểm tra content-type như một tín hiệu, không phải là thay thế cho việc đọc tài liệu.

Giao diện HTMLParser của Python nhận diện các sự kiện đánh dấu. Nó không phải là bộ kết xuất trình duyệt hay bộ kiểm tra tuân thủ đầy đủ. Vì vậy các trường cấu trúc boolean trong báo cáo vẫn chỉ là các kiểm tra ở mức độ khiêm tốn.

Kiểm Tra HTML Có Khớp Với Tìm Kiếm Hay Không

Các kiểm tra tương ứng nên so sánh tài liệu đã lưu với yêu cầu và các bản ghi được trả về đã chọn. Bắt đầu với truy vấn được hiển thị trên trang và một mẫu nhỏ tiêu đề hoặc liên kết có trong JSON.

Văn bản có thể được mã hóa thực thể, bị tách nhỏ qua các phần tử, hoặc được biểu diễn khác đi trong dữ liệu nhúng. Việc trượt một chuỗi con thô là lý do để kiểm tra tài liệu, không phải bằng chứng ngay lập tức rằng một kết quả bị thiếu. Nếu bạn kết xuất tệp cục bộ, các tài nguyên và script bên ngoài có thể không khả dụng hoặc có thể yêu cầu tài nguyên hiện tại, do đó việc kết xuất có thể khác với lần truy xuất ban đầu.

Hãy dùng tài liệu đã lưu để trả lời một câu hỏi cụ thể. Ví dụ, xác định xem một tiêu đề có xuất hiện trong markup hay không, một dạng liên kết bất ngờ có hiện diện hay không, hoặc liệu tài liệu thực sự có phải là trang tìm kiếm. Tránh nâng cấp các quan sát này thành tuyên bố rằng mọi phần mở rộng động hoặc mô-đun ẩn đều đã được ghi lại.

Khắc Phục Sự Cố HTML Thiếu Hoặc Không Dùng Được

Một vấn đề HTML nên được phân loại tại bước nó xảy ra. Giữ JSON tìm kiếm đã hoàn tất ngay cả khi việc lấy nội dung lưu trữ bị lỗi.

Symptom Check
metadata bị thiếu Xác nhận bạn đã lưu đối tượng tìm kiếm đã hoàn tất
rawUrl thiếu hoặc trống Ghi lại HTML là không khả dụng cho phản hồi đó
URL bị script từ chối So sánh nguồn lưu trữ thực tế với nguồn được phê duyệt
Phản hồi lưu trữ không phải 200 Lưu trạng thái và ngữ cảnh yêu cầu; đừng gán nhãn nó là tài liệu
Media type bất ngờ Kiểm tra phản hồi trước khi coi nó là HTML
Đạt giới hạn kích thước Xem lại giới hạn cục bộ và kích thước tài liệu dự kiến
Kiểm tra cấu trúc thất bại Kiểm tra các byte; chỉ riêng việc phân tích cú pháp hợp lệ là không đủ
Không khớp truy vấn hoặc kết quả So sánh JSON và HTML đã lưu từ cùng một yêu cầu

Đừng giả định thời hạn lưu giữ vĩnh viễn cho một địa chỉ lưu trữ từ xa. Hãy tải tài liệu xuống trong khi nó còn khả dụng nếu quy trình của bạn cần lưu trữ. Lưu trữ JSON, HTML, checksum và ngữ cảnh thu thập cùng nhau để một kỹ sư khác có thể hiểu mối quan hệ.

Kết Luận: Bảo Tồn Những Gì Thực Sự Được Tải Xuống

Quy trình HTML thô có hai thao tác riêng biệt: truy xuất JSON tìm kiếm đã hoàn tất, rồi tải xuống URL HTML đã lưu của nó. Hãy lưu tài liệu và ghi lại các kiểm tra mô tả chính xác những gì đã được quan sát.

Dùng tham số Google Search API để kiểm soát truy vấn gốc, và tham khảo bảng giá hiện tại khi lập kế hoạch khối lượng tìm kiếm. Giữ tính khả dụng của HTML tách biệt với tính khả dụng của kết quả tự nhiên trong báo cáo riêng của bạn.

Xây Dựng Quy Trình Dữ Liệu Tìm Kiếm Của Bạn

Tham gia cùng các nhà phát triển làm việc với dữ liệu tìm kiếm trong cộng đồng của chúng tôi: Discord · Telegram.

Tạo một tài khoản Scrapeless và áp dụng hướng dẫn này cho một tập truy vấn nhỏ trước khi lập lịch một đợt thu thập lớn hơn.

Câu Hỏi Thường Gặp (FAQ)

H: rawUrl có chứa văn bản HTML không?
Không. Nó chứa một URL. Một yêu cầu HTTP thứ hai sẽ tải xuống tài liệu đó.

Hỏi: rawUrl có phải là điểm đích cuối cùng của một kết quả tự nhiên không?

Không. Nó trỏ tới tài liệu SERP đã được lưu trữ gắn với phản hồi, không phải tới từng trang web được liệt kê trên SERP đó.

Hỏi: Thẻ html đóng có chứng minh toàn bộ SERP là hoàn chỉnh không?

Không. Nó là một tín hiệu về cấu trúc. Sự tương ứng nội dung và tính đầy đủ của các tính năng động cần được kiểm tra bổ sung.

Hỏi: Yêu cầu lưu trữ có nên bao gồm khóa API không?

Lần tải xuống lưu trữ được quan sát đã thành công mà không có header xác thực. Ví dụ này giữ khóa chỉ trong yêu cầu API và không chuyển tiếp nó tới hệ thống lưu trữ hoặc các trang kết quả.

Hỏi: Một liên kết HTML đã lưu có phải là một bản lưu trữ vĩnh viễn không?

Đừng giả định có bảo đảm lưu giữ nếu điều đó chưa được thiết lập. Hãy giữ một bản sao cục bộ và checksum khi tài liệu cần được dùng về sau.

Hỏi: HTML đã lưu có thể thay thế việc xác minh trang đích không?

Không. HTML SERP ghi lại trang kết quả tìm kiếm. Việc xác minh nội dung của một trang được liên kết là một nhiệm vụ riêng biệt.

Tại Scrapless, chúng tôi chỉ truy cập dữ liệu có sẵn công khai trong khi tuân thủ nghiêm ngặt các luật, quy định và chính sách bảo mật trang web hiện hành. Nội dung trong blog này chỉ nhằm mục đích trình diễn và không liên quan đến bất kỳ hoạt động bất hợp pháp hoặc vi phạm nào. Chúng tôi không đảm bảo và từ chối mọi trách nhiệm đối với việc sử dụng thông tin từ blog này hoặc các liên kết của bên thứ ba. Trước khi tham gia vào bất kỳ hoạt động cạo nào, hãy tham khảo ý kiến ​​cố vấn pháp lý của bạn và xem xét các điều khoản dịch vụ của trang web mục tiêu hoặc có được các quyền cần thiết.

Bài viết phổ biến nhất

Danh mục