Cách thu thập dữ liệu từ Google AI: Câu trả lời, trích dẫn và nguồn tài liệu

Tóm tắt ngắn gọn:

• Chế độ AI của Google là một công cụ trả lời đối thoại toàn trang, không phải khối tóm tắt AI theo dòng. Nó tách một yêu cầu thành nhiều tìm kiếm song song và trả về một câu trả lời dài, tổng hợp, đa phần với các nguồn đã được trích dẫn — tương tự nhất với ChatGPT hoặc Perplexity của Google.
• Diễn viên scraper.aimode ghi lại nó trong một POST đồng bộ. Một cuộc gọi đến /api/v2/scraper/execute sẽ trả về câu trả lời; không có quy trình kích hoạt-rồi-poll-rồi-tải xuống cần quản lý.
• Một cuộc gọi trả về ba định dạng câu trả lời cùng với các trích dẫn. task_result chứa result_text (văn xuôi đơn giản), result_md (markdown), result_html (câu trả lời được hiển thị), một mảng citations các nguồn mà câu trả lời đã dựa vào, và một raw_url cho nguồn gốc.
• citations là bề mặt chia sẻ trích dẫn. Mỗi mục tên nguồn — tiêu đề, URL, tên trang web, đoạn trích — để bạn có thể loại bỏ trùng lặp và xếp hạng các miền mà Chế độ AI của Google đã lấy từ các truy vấn có ý định nghiên cứu.
• Đầu ra được gán theo country; ngôn ngữ câu trả lời không được đảm bảo. Cùng một yêu cầu có thể trả về câu trả lời không phải tiếng Anh trong một lần chạy nhất định, vì vậy hãy phát hiện ngôn ngữ phía dưới thay vì giả định rằng quốc gia đặt nó.
• Bao bì phù hợp với phần còn lại của dòng diễn viên. Mỗi cuộc gọi trả về { status, task_id, task_result }, vì vậy một khách hàng được viết ở đây cũng có thể đọc ChatGPT, Gemini và Perplexity.
• Miễn phí để bắt đầu. Các tài khoản Scrapeless mới bao gồm tín dụng dùng thử miễn phí — đăng ký tại app.scrapeless.com.

Giới thiệu: Chế độ AI là động cơ trả lời của Google, không phải khối SERP

Chế độ AI của Google là một trang trả lời kiểu trò chuyện riêng biệt: bạn đặt câu hỏi, Google phân tích nó thành nhiều tìm kiếm song song, và nó trả về một câu trả lời dài đã được tổng hợp với các câu hỏi theo dõi và danh sách các nguồn đã trích dẫn của riêng nó. Đây không phải là hộp Tóm tắt AI nằm bên trên các liên kết màu xanh — đó là một bề mặt khác, được ghi lại bởi một diễn viên khác. Chế độ AI là nơi Google định tuyến các câu hỏi về nghiên cứu và so sánh, và nó hoạt động giống như ChatGPT hoặc Perplexity hơn là một trang kết quả.

Đối với một thương hiệu hoặc một nhóm nghiên cứu, trang đó giờ đây là một điểm đến chính, và rất khó để đọc ở quy mô lớn. Câu trả lời được n-rendered bằng JavaScript, bố cục thay đổi, và các nguồn phía sau nó bị chôn vùi trong mã mà thay đổi mà không có thông báo. Ghi lại bằng tay có nghĩa là điều khiển một trang trò chuyện mà chống lại tự động hóa.

Diễn viên scraper.aimode trả về trang đó dưới dạng dữ liệu trong một yêu cầu: một yêu cầu được đưa vào, và một câu trả lời có cấu trúc quay trở lại dưới dạng văn bản thuần, markdown và HTML, với các nguồn đã trích dẫn dưới dạng một mảng. Các phần bên dưới bao gồm yêu cầu ghi lại, trường phản hồi theo từng trường, một khách hàng Python biến một bộ yêu cầu thành một bảng chia sẻ trích dẫn, và các diễn viên kèm theo cho phần còn lại của các bề mặt AI của Google. Đối với khối Tóm tắt AI theo dòng, gạch nối Tóm tắt AI của Google bao gồm diễn viên scraper.overview riêng biệt.

Những điều bạn có thể làm với Dữ liệu Chế độ AI của Google

• Theo dõi tỷ lệ trích dẫn. Chạy một bộ yêu cầu nghiên cứu cố định theo lịch trình và đếm các miền mà Chế độ AI trích dẫn cho mỗi yêu cầu — chỉ số GEO cho các truy vấn mà Google định tuyến vào Chế độ AI.
• Giám sát thương hiệu và cạnh tranh. Phát hiện khi một câu trả lời bắt đầu hoặc dừng lại việc gọi tên sản phẩm của bạn cho một câu hỏi mua hàng hoặc so sánh, và nguồn mà đề cập đó truy nguyên đến.
• Phân tích khoảng trống nội dung. Xem các trang mà Chế độ AI lấy theo một chủ đề, và những trang nào của bạn không bao giờ xuất hiện.
• Tập dữ liệu RAG và đánh giá. Cung cấp result_text cùng với citations vào một hệ thống truy xuất hoặc một tập đánh giá dưới dạng các hàng yêu cầu–câu trả lời–nguồn sạch sẽ.
• Theo dõi sự khác biệt câu trả lời theo thời gian. Lưu result_html cho mỗi lần ghi lại và so sánh câu trả lời đã hiển thị để xem cách tổng hợp của Google thay đổi.
• Ghi lại đa địa điểm. Gán country cho mỗi cuộc gọi để so sánh cách câu trả lời và các nguồn của nó thay đổi giữa các thị trường.

Tại sao Sử Dụng Gạch Nối Google AI Mode của Scrapeless

Gạch nối chế độ AI Google Scrapeless là diễn viên scraper.aimode, một phần của Universal Scraping API. Đối với Chế độ AI đặc biệt, nó cung cấp:

• Một POST đồng bộ trả về câu trả lời — không có quy trình kích hoạt-rồi-poll-rồi-tải xuống cần quản lý.
• Ba định dạng đầu ra trong một phản hồi duy nhất: result_text cho các nhúng, result_md để hiển thị, result_html để lưu trữ trung thực.
• Một mảng citations thống nhất — một bề mặt công nhận, không pha trộn vào các trường quảng cáo hoặc mua sắm — sẵn sàng để triển khai theo dõi chia sẻ trích dẫn.
• Egress cư trú được gán bởi quốc gia bạn đã truyền vào, với việc kết xuất và xử lý chống bot được chạy ở phía máy chủ.
• Cùng một tiêu đề x-api-token và { status, task_id, task_result } như các dòng diễn viên khác.

Nhận khóa API của bạn trên gói miễn phí tại app.scrapeless.com.

Điều kiện tiên quyết

• Python 3.10 trở lên (khách hàng bên dưới chỉ sử dụng requests) hoặc bất kỳ khách hàng HTTP nào cho cuộc gọi curl.
• Một tài khoản Scrapeless và khóa API — đăng ký tại app.scrapeless.com.
• Khóa được xuất ra dưới dạng SCRAPELESS_API_KEY.
• Kiến thức cơ bản về terminal và JSON — không cần mua trình duyệt, proxy hoặc giải quyết CAPTCHA.

Cách hoạt động của Trình thu thập thông tin chế độ AI của Google

Một cuộc POST duy nhất đến /api/v2/scraper/execute với diễn viên scraper.aimode trả về câu trả lời. Diễn viên kết xuất trang chế độ AI ở phía máy chủ và phân tích nó thành phong bì phản hồi.

Tham số yêu cầu

Các tham số đi bên trong đối tượng input.

Chụp nhanh bằng curl

# Cần SCRAPELESS_API_KEY trong môi trường.
curl -sS -X POST https://api.scrapeless.com/api/v2/scraper/execute \
  -H "Content-Type: application/json" \
  -H "x-api-token: ${SCRAPELESS_API_KEY}" \
  -d '{
    "actor": "scraper.aimode",
    "input": {
      "prompt": "giày chạy tốt nhất 2026",
      "country": "US"
    }
  }'
# Kết nối với: | jq '.task_result.citations' để lấy các nguồn đã trích dẫn.

Phong bì phản hồi

Câu trả lời nằm dưới task_result ở ba định dạng, với các nguồn là một mảng citations và một raw_url cho nguồn gốc. Hình dạng bên dưới là một tác phẩm thực tế cho tiêu đề trên; các giá trị trường là một mẫu minh họa từ một lần chạy trực tiếp.

// Schema là những gì scraper.aimode trả về; các giá trị trường là một mẫu minh họa từ một lần chạy thực tế (cung cấp/trích dẫn đã được cắt bớt).
{
  "status": "success",
  "task_id": "…",
  "task_result": {
    "result_text": "### Giày tập hàng ngày tốt nhất (Đa năng nhất)\n#### ASICS Novablast 5 — Giá: $129.95 (trước đây $150) | Người bán: ASICS & hơn thế nữa | Đánh giá: 4.x …",
    "result_md": "### Giày tập hàng ngày tốt nhất (Đa năng nhất)\n\n…",
    "result_html": "<div>… câu trả lời được kết xuất từ chế độ AI …</div>",
    "citations": [
      {
        "website_name": "GearLab",
        "title": "10 Giày chạy tốt nhất năm 2026 | Được kiểm tra và xếp hạng",
        "url": "https://…",
        "snippet": "…",
        "favicon": "https://…",
        "thumbnail": "https://…"
      }
    ],
    "raw_url": "https://…"
  }
}

Định dạng nào để đọc phụ thuộc vào công việc:

• result_text — văn xuôi đơn giản, trường sạch nhất cho nhúng, phát hiện ngôn ngữ hoặc phân tích nhanh.
• result_md — cấu trúc markdown để kết xuất; lưu ý rằng nó có thể chứa hình ảnh nội tuyến dưới dạng URI dữ liệu base64, vì vậy hãy loại bỏ chúng trước khi lưu trữ.
• result_html — câu trả lời được kết xuất trung thành, lớn (hàng trăm KB); giữ lại cho lưu trữ và so sánh, không phải để phân tích.
• citations — mảng công nhận có cấu trúc; đây là thứ bạn cần loại bỏ và xếp hạng cho phần chia sẻ trích dẫn.

Một vài quan sát chân thực từ việc chạy nó:

• Ngôn ngữ không bị gán bởi country. Cùng một US đã trả về một câu trả lời tiếng Anh trong một lần chạy và một lần không phải tiếng Anh trong lần khác. Xem ngôn ngữ câu trả lời là biến đổi: phát hiện nó từ result_text ở phía hạ nguồn và lọc, thay vì giả định quốc gia định dạng nó.
• Đầu ra thay đổi từ lần chạy này sang lần chạy khác. Số lượng trích dẫn và độ dài câu trả lời thay đổi giữa các cuộc gọi cho cùng một tiêu đề — lưu trữ task_id và một dấu thời gian, bởi vì chuỗi theo thời gian là tín hiệu, không phải bất kỳ cuộc gọi đơn lẻ nào.
• Không phải mọi truy vấn đều kích hoạt chế độ AI. Các gợi ý hội thoại, nghiên cứu và so sánh kích hoạt câu trả lời; một truy vấn điều hướng trống có thể không. Diễn đạt theo ý định nghiên cứu.
• Xem xét mọi trường là có thể null. citations có thể quay trở lại trống và một định dạng có thể thiếu trong một lần chạy nhất định; bảo vệ cho điều đó thay vì giả định sự hiện diện.

Nhận khóa API của bạn trên gói miễn phí: app.scrapeless.com

Tích hợp API trong Python

Mô hình mở rộng là một tập hợp câu hỏi cố định, một cuộc gọi cho mỗi câu hỏi, các trích dẫn được làm phẳng thành các số liệu miền. Khách hàng đọc SCRAPELESS_API_KEY từ môi trường, đăng bài một câu hỏi và xây dựng một bảng thống kê công nhận miền để một bảng chia sẻ trích dẫn tự động xuất hiện.

"""Chụp câu trả lời chế độ AI của Google cho một tập hợp câu hỏi (scraper.aimode).
    export SCRAPELESS_API_KEY=your_api_token_here

import os
from collections import Counter
from urllib.parse import urlparse

import requests

ENDPOINT = "https://api.scrapeless.com/api/v2/scraper/execute"
PROMPTS = [
    "giày chạy tốt nhất 2026",
    "crm tốt nhất cho doanh nghiệp nhỏ",
    "xe SUV điện đáng tin cậy nhất 2026",
]


def capture(prompt: str, country: str = "US") -> dict:
    resp = requests.post(
        ENDPOINT,
        headers={
            "Content-Type": "application/json",
            "x-api-token": os.environ["SCRAPELESS_API_KEY"],
        },
        json={"actor": "scraper.aimode", "input": {"prompt": prompt, "country": country}},
        timeout=180,
    )
    resp.raise_for_status()
    return resp.json().get("task_result", {}) or {}


def cited_domains(task_result: dict) -> list[str]:
    domains = []
    for citation in task_result.get("citations") or []:
        url = citation.get("url") or ""
        host = urlparse(url).netloc.removeprefix("www.")
        if host:
            domains.append(host)
    return domains


if __name__ == "__main__":
    tally = Counter()
    for prompt in PROMPTS:
        result = capture(prompt)
        text = result.get("result_text") or ""
        domains = cited_domains(result)
        if not text and not domains:
            # Không có câu trả lời AI Mode cho truy vấn/vùng địa lý này. Ghi lại và tiếp tục.
            print(f"{prompt}: không có câu trả lời AI Mode")
            continue
        tally.update(domains)
        print(f"{prompt}: {len(text)} ký tự, {len(domains)} trích dẫn")
    print("\nTỷ lệ trích dẫn (các miền trong bộ prompt):")
    for domain, count in tally.most_common(10):
        print(f"  {count:>2}  {domain}")

Mỗi prompt trả về văn bản câu trả lời cùng với các miền mà AI Mode đã trích dẫn; việc tổng hợp các miền trong bộ này tạo ra một bảng tỷ lệ trích dẫn. Để tiếp tục một cuộc trò chuyện, hãy gửi câu hỏi tiếp theo như một prompt riêng biệt — mỗi lần gọi ghi lại một lượt, vì vậy một chuỗi nhiều bước là một chuỗi các lần ghi lại độc lập có cùng chủ đề. Ghi các hàng vào một kho dữ liệu theo lịch trình và tỷ lệ trích dẫn, độ lệch câu trả lời, và các nguồn mới sẽ phát triển theo chuỗi thời gian.

Các tác nhân đồng hành cho việc ghi lại Google-AI từ đầu đến cuối

Một tài khoản và một phong bì đọc tất cả các bề mặt câu trả lời của Google. Ghi lại cùng một truy vấn, quốc gia và dấu thời gian qua các tác nhân để có được bức tranh đầy đủ:

• scraper.overview — khối AI Tổng quan trực tuyến; gửi tất cả công việc Tổng quan AI ở đó (Google AI Overview scraping bao gồm nó).
• scraper.google.search — kết quả tự nhiên cho cùng một truy vấn, để so sánh với câu trả lời AI.
• scraper.chatgpt, scraper.gemini, scraper.perplexity, scraper.grok — các động cơ trả lời còn lại trên cùng hình dạng { status, task_id, task_result }. So sánh các scraper LLM tốt nhất đọc các bề mặt này trên cùng một phong bì.

Cách để tránh các vấn đề thường gặp

• Kết quả trống hoặc thay đổi. result_text hoặc citations có thể trở về rỗng, và số lượng có thể thay đổi từ lần chạy này sang lần chạy khác. Lưu task_id và dấu thời gian; loạt dữ liệu là tín hiệu. Xem xét mọi trường dữ liệu như nullable.
• Không có câu trả lời AI Mode cho một truy vấn. Không phải mọi prompt đều kích hoạt AI Mode — hãy diễn đạt như một câu hỏi nghiên cứu hoặc so sánh; một tìm kiếm định hướng có thể không trả về gì cả.
• Ngôn ngữ sai. Ngôn ngữ của câu trả lời có thể khác với quốc gia mà bạn đã truyền vào, vì vậy hãy phát hiện ngôn ngữ từ result_text và lọc thay vì giả định.
• Chọn định dạng. Sử dụng result_text cho nhúng và kiểm tra ngôn ngữ, result_md cho việc trình bày (lọc các hình ảnh cơ bản inline base64), và chỉ sử dụng result_html cho lưu trữ và so sánh.

Kết luận: một POST cho các câu trả lời hội thoại của Google

Ghi lại Google AI Mode chỉ cần một cuộc gọi: một POST đến tác nhân scraper.aimode trả về câu trả lời hội thoại dưới ba định dạng với các nguồn trích dẫn của nó dưới dạng một mảng. Hãy diễn đạt các prompt với mục đích nghiên cứu, gắn quốc gia, đọc result_text cộng với citations, phát hiện ngôn ngữ sau đó, và xử lý mọi trường dữ liệu như nullable. Chạy một bộ prompt cố định theo lịch trình với Universal Scraping API tín dụng, và ghi lại AI Mode bên cạnh khối Tổng quan AI và kết quả tự nhiên để có cái nhìn đầy đủ về Google-AI. Hình dạng yêu cầu và tên trường được xác nhận so với tác nhân trực tiếp scraper.aimode trong LLM Chat Scraper tham chiếu.

Sẵn sàng xây dựng đường dẫn khả năng nhìn thấy câu trả lời AI của bạn?

Tham gia cộng đồng của chúng tôi để nhận kế hoạch miễn phí và kết nối với các nhà phát triển đang xây dựng các đường ống dữ liệu câu trả lời AI: Discord · Telegram.

Đăng ký tại [app.scrapeless.com](https://app.scrapeless.com/passport/login/?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=scrape-google-ai-mode) để nhận tín dụng dùng thử miễn phí và chỉ định tập lệnh ở trên cho các câu hỏi nghiên cứu và thị trường mà chương trình hiển thị của bạn theo dõi.

---

## Câu hỏi thường gặp

**H: Việc lấy thông tin từ Google AI Mode có hợp pháp không?**
Dữ liệu trả về là câu trả lời AI Mode có thể nhìn thấy công khai mà Google hiển thị cho bất kỳ người dùng nào. Giống như bất kỳ hình thức lấy thông tin nào, tính hợp pháp phụ thuộc vào quyền tài phán và cách sử dụng - hãy xem xét các điều khoản có liên quan và tham khảo ý kiến ​​counsel trước khi xây dựng trên đó, và chỉ thu thập dữ liệu câu trả lời và nguồn thông tin công khai.

**H: Google có cung cấp API chính thức cho AI Mode không?**
Không. Không có điểm cuối chính thức cho các câu trả lời AI Mode, đó là lý do tại sao cần một tác nhân quản lý để xử lý và phân tích trang.

**H: Tôi có cần một proxy hoặc một bộ giải CAPTCHA không?**
Không. Việc xử lý, thoát cư dân và xử lý chống bot diễn ra ở phía máy chủ. Bạn gửi một POST với tiêu đề `x-api-token` và nhận lại JSON; trường `country` chọn thị trường thoát.

**H: AI Mode khác AI Overview như thế nào?**
AI Mode là một công cụ trả lời hội thoại toàn trang mà phân rã một tập lệnh thành nhiều tìm kiếm phụ; AI Overview là khối nội tuyến phía trên các kết quả tự nhiên. Chúng là những bề mặt riêng biệt với những tác nhân riêng biệt - `scraper.aimode` ở đây, `scraper.overview` cho khối.

**H: Dữ liệu trả về ở định dạng nào?**
Bìa dữ liệu là JSON: `{ status, task_id, task_result }`. Câu trả lời chính nó có ba dạng - `result_text`, `result_md` và `result_html` - cộng với mảng `citations` và một `raw_url`.

**H: Làm thế nào để tôi trích xuất các nguồn đã được trích dẫn?**
Đọc `task_result.citations`; mỗi mục đều có tiêu đề nguồn, URL, tên trang web và đoạn trích. Phân tích máy chủ từ mỗi URL và tổng hợp qua các bộ sưu tập để tính toán tỷ lệ trích dẫn.

**H: Tôi nên sử dụng định dạng nào cho RAG?**
Sử dụng `result_text` cho nhúng, hoặc `result_md` khi bạn muốn có cấu trúc - sau khi loại bỏ bất kỳ hình ảnh base64 nội tuyến nào. Giữ `result_html` cho lưu trữ, không phải cho việc truy xuất.

**H: Tôi có thể thu thập câu trả lời cho một quốc gia cụ thể không?**
Gửi mã `country` để chỉ định thoát cư dân theo thị trường. Điều này kiểm soát khu vực thoát; ngôn ngữ câu trả lời vẫn có thể thay đổi, vì vậy hãy phát hiện và lọc ngôn ngữ ở phía hạ nguồn.

**H: Tại sao phản hồi của tôi lại trống hoặc khác so với trình duyệt?**
Truy vấn có thể không kích hoạt AI Mode, khu vực có thể khác nhau, hoặc đầu ra có thể thay đổi từ phiên chạy này sang phiên chạy khác. Diễn đạt theo ý định nghiên cứu, chỉ định `country`, lưu `task_id` cộng với một thời gian, và xử lý các trường như có giá trị null.