API Scraper ChatGPT: Câu trả lời AI và trích dẫn dưới dạng JSON

Tóm tắt:

• API scraper ChatGPT biến câu trả lời của mô hình thành JSON có cấu trúc. Một POST đến actor scraper.chatgpt trả về văn bản phản hồi, các trích dẫn liên quan và kết quả tìm kiếm web mà ChatGPT đã tham khảo — dưới dạng các trường, không phải ảnh chụp màn hình.
• Hai đầu vào xử lý toàn bộ. prompt mang câu hỏi; một country tùy chọn gán chạy vào việc truy cập khu vực cư trú trong thị trường đó, vì vậy bạn ghi lại câu trả lời mà người dùng thực sự ở đó sẽ thấy.
• Các trích dẫn sẵn sàng để biểu đồ. content_references liệt kê từng nguồn đã trích dẫn với tiêu đề, URL và ghi nhận — nguyên liệu thô cho việc theo dõi tỷ lệ trích dẫn mà không cần bước phân tích.
• Định dạng luôn không thay đổi. Mỗi cuộc gọi trả về { status, task_id, task_result }, cùng một hình dạng như các actor LLM Scrapeless khác, vì vậy một wrapper được viết cho ChatGPT có thể áp dụng cho Grok, Gemini, Perplexity, và Copilot mà không thay đổi.
• Không cần trình duyệt giám sát. Việc kết xuất, quản lý phiên, và định tuyến proxy diễn ra ở phía máy chủ; bạn gọi một endpoint với tiêu đề x-api-token và đọc JSON trở lại.
• Miễn phí để bắt đầu. Các tài khoản Scrapeless mới bao gồm tín dụng dùng thử miễn phí — đăng ký tại app.scrapeless.com.

Giới thiệu: câu trả lời là trang kết quả mới

ChatGPT trả lời các câu hỏi sản phẩm trực tiếp: một người mua hỏi công cụ hỗ trợ tốt nhất, CRM tốt nhất, nhà cung cấp proxy tốt nhất, và nhận một khuyến nghị ngắn gọn tổng hợp với một vài nguồn đã trích dẫn. Không có trang thứ hai. Một thương hiệu hoặc được đề cập trong câu trả lời đó — hoặc không thể nhìn thấy bởi người mua đó.

Sự chuyển biến đó đã tạo ra nhu cầu dữ liệu mới. Các nhóm từng theo dõi thứ hạng giờ cần câu trả lời chính nó: được lưu trữ, phân tích và biểu đồ theo thời gian, với các trích dẫn giải thích tại sao mô hình đã nói những gì nó đã nói. Việc ghi lại điều đó bằng cách điều khiển giao diện chat trong một trình duyệt có nghĩa là các tường đăng nhập, phản hồi trực tiếp, và các thẻ HTML thay đổi mà không có thông báo trước.

Actor scraper.chatgpt thu hẹp vấn đề thành một yêu cầu HTTP: đầu vào prompt, đầu ra câu trả lời có cấu trúc. Hướng dẫn này đề cập đến hình dạng yêu cầu, sơ đồ phản hồi từng trường một, một khách hàng Python có thể chạy, và các actor kèm theo mở rộng cùng một mẫu cho phần còn lại của cảnh quan AI-đáp án. Để có cái nhìn xếp hạng về danh mục công cụ, hướng dẫn những scraper LLM tốt nhất đề cập đến ChatGPT cùng với các nền tảng khác.

Bạn Có Thể Làm Gì Với Nó

• Theo dõi tỷ lệ trích dẫn. Chạy một bộ prompt cố định theo lịch trình và đếm các miền mà ChatGPT đã trích dẫn cho mỗi câu hỏi — chỉ số GEO thay thế cho theo dõi thứ hạng.
• Giám sát đề cập thương hiệu. Phát hiện khi câu trả lời cho một câu hỏi mua sắm bắt đầu hoặc ngừng đề cập đến sản phẩm của bạn, và nguồn nào mà đề cập đó liên kết đến.
• Phân tích câu trả lời cạnh tranh. Ghi lại cách mà mô hình mô tả một danh mục sản phẩm qua các thị trường và theo thời gian, với các liên kết hỗ trợ dưới dạng dữ liệu.
• Ghi nhận nhiều khu vực. Gán các phiên chạy vào các quốc gia khác nhau và so sánh các câu trả lời bên cạnh nhau — sự thay đổi khu vực ảnh hưởng đến cả câu trả lời và các trích dẫn.
• Phản hồi chiến lược nội dung. Xem những trang nào của bạn thực sự được trích dẫn, và cho những prompt nào, thay vì đoán từ lưu lượng truy cập.
• Xây dựng tập dữ liệu. Thu thập các bộ ba prompt–câu trả lời–trích dẫn dưới dạng JSON sạch cho phân tích sau hoặc quy trình đánh giá.

Tại Sao Chọn Scraper ChatGPT Scrapeless

Actor scraper.chatgpt là một phần của gia đình Scraper Chat LLM Scrapeless bên trong API Thu thập Dữ liệu Thống Nhất. Nó coi câu trả lời AI là một mục tiêu hàng đầu:

• Một yêu cầu, đầu ra có cấu trúc. Không cần trình duyệt để điều khiển, không cần phát trực tuyến để tái tổ chức, không có DOM để phân tích — actor render bề mặt chat ở phía máy chủ và trả về các trường đã phân tích.
• Trích dẫn dưới dạng dữ liệu. content_references mang theo mỗi nguồn đã trích dẫn như một đối tượng riêng biệt; phần thân câu trả lời giữ lại các ký hiệu trích dẫn cho phép hai bên được kết hợp.
• Truy cập khu vực cư trú được gán. Các phiên chạy qua proxy cư trú trên hơn 195 quốc gia, vì vậy các câu trả lời theo khu vực có thể được tái tạo cho từng thị trường.
• Một mã, một định dạng, năm nền tảng. Mã x-api-token và hợp đồng { status, task_id, task_result } giống nhau áp dụng cho các actor ChatGPT, Grok, Gemini, Perplexity và Copilot.

Tài liệu tham khảo đầy đủ về các tham số có thể tìm thấy trong tài liệu Scraper Chat LLM.

Các yêu cầu tiên quyết

• Tài khoản và khóa API Scrapeless — đăng ký tại app.scrapeless.com.
• curl cho bài kiểm tra nhanh, hoặc Python 3.10+ cho khách hàng bên dưới.
• Kiến thức cơ bản về HTTP và JSON.

Lưu khóa của bạn trong môi trường để nó không bao giờ xuất hiện trong mã:

export SCRAPELESS_API_KEY=your_api_token_here

Cách hoạt động của Scraper ChatGPT

Bạn chỉ cần gọi tên tác nhân, đưa vào một đầu vào, và gửi khóa của bạn trong một tiêu đề.

• Endpoint: POST https://api.scrapeless.com/api/v2/scraper/execute
• Tác nhân: scraper.chatgpt
• Tiêu đề xác thực: x-api-token: $SCRAPELESS_API_KEY

Tham số yêu cầu

Bắt nhanh với curl

curl -sS -X POST https://api.scrapeless.com/api/v2/scraper/execute \
  -H "Content-Type: application/json" \
  -H "x-api-token: ${SCRAPELESS_API_KEY}" \
  -d '{
    "actor": "scraper.chatgpt",
    "input": { "prompt": "What are the best web scraping tools?", "country": "US" }
  }'

Bì thư phản hồi

// mẫu minh họa — lược đồ từ một phiên chạy scraper.chatgpt trực tiếp; các giá trị được rút gọn
{
  "status": "success",
  "task_id": "7218e510-…",
  "task_result": {
    "prompt": "What are the best web scraping tools?",
    "model": "gpt-5-5",
    "result_text": "Công cụ tốt nhất phụ thuộc vào trường hợp sử dụng… ([source][1])",
    "content_references": [
      { "title": "…", "url": "https://…", "attribution": "…" }
    ],
    "search_result": [
      { "title": "…", "url": "https://…", "snippet": "…", "attribution": "…" }
    ],
    "links": [],
    "products": null,
    "web_search": false
  }
}

Từng trường một:

Nhận khóa API của bạn trên gói miễn phí: app.scrapeless.com

Tích hợp API trong Python

Một khách hàng hoàn chỉnh: gửi câu lệnh, kiểm tra bì thư, và in bảng trích dẫn.

import os
import requests

ENDPOINT = "https://api.scrapeless.com/api/v2/scraper/execute"


def ask_chatgpt(prompt: str, country: str = "US") -> dict:
    resp = requests.post(
        ENDPOINT,
        headers={
            "Content-Type": "application/json",
            "x-api-token": os.environ["SCRAPELESS_API_KEY"],
        },
        json={"actor": "scraper.chatgpt", "input": {"prompt": prompt, "country": country}},
        timeout=180,
    )
    resp.raise_for_status()
    return resp.json()


if __name__ == "__main__":
    data = ask_chatgpt("What are the best web scraping tools?")
    result = data.get("task_result", {})
    refs = result.get("content_references") or []
    print(f"status={data.get('status')} model={result.get('model')} citations={len(refs)}")
    for i, ref in enumerate(refs, 1):
        print(f"  [{i}] {ref.get('attribution', '')}: {ref.get('title', '')[:60]} → {ref.get('url', '')[:60]}")

Nội dung câu trả lời vẫn được giữ trong result.get("result_text") dưới dạng markdown; để làm công việc chia sẻ trích dẫn, vòng lặp ở trên thường là toàn bộ công việc — nhóm các URL in ra theo miền và đếm.

Các tác nhân đồng hành cho phần còn lại của cảnh quan câu trả lời AI

Cùng một endpoint, tiêu đề, và bì thư bao phủ các nền tảng lân cận — chỉ cần tên tác nhân và một số trường cụ thể cho nền tảng thay đổi:

• scraper.grok — thêm một mode lý do bắt buộc và trả về các bảng trích dẫn web_search_results và x_search_results riêng biệt.
• scraper.gemini — cùng hai trường đầu vào như ChatGPT; trả về result_text cộng với một mảng citations.
• scraper.perplexity — lấy một country bắt buộc và một cờ web_search; trả về web_results, media_items, và các câu lệnh liên quan.
• scraper.copilot — giao diện trả lời Copilot dưới cùng một hợp đồng.
• scraper.overview / scraper.aimode — khối AI Overview của Google và tab AI Mode; hướng dẫn AI Overview bao phủ cặp đó từ đầu đến cuối.
  Giá cho dòng sản phẩm này dựa trên mức sử dụng với tín dụng dùng thử miễn phí khi đăng ký — các cấp hiện tại có trên trang giá.

Cách tránh các vấn đề phổ biến

• content_references trống trên một số truy vấn. ChatGPT không trích dẫn nguồn cho mỗi câu trả lời — các truy vấn mang tính ý kiến hoặc hoàn toàn sinh ra có thể không có trích dẫn. Để theo dõi trích dẫn, hãy diễn đạt các truy vấn theo cách mà một người mua đang nghiên cứu sẽ làm ("X tốt nhất cho Y"), điều này sẽ kích hoạt các câu trả lời dựa trên web.
• Câu trả lời thay đổi từ lần chạy này sang lần chạy khác. Cùng một truy vấn có thể tạo ra một câu trả lời và tập hợp trích dẫn khác nhau chỉ sau vài phút — sự biến động đó là hiện tượng mà bạn đang đo lường. Lưu mọi lần thu thập với task_id và dấu thời gian và đối xử với chuỗi, không phải bất kỳ lần chạy đơn lẻ nào, như là tín hiệu.
• Đối xử với mọi trường như thể có thể là null. products là null bên ngoài các truy vấn mua sắm, links thường trống, và số lượng trích dẫn thay đổi giữa các lần chạy. Đọc những gì có mặt thay vì khẳng định một hình dạng cố định.
• Ghim quốc gia một cách có chủ đích. Một lần chạy không bị ghim thu thập một câu trả lời; một lần chạy bị ghim thu thập câu trả lời cho một thị trường mà bạn quan tâm. Giữ giá trị country trong các bản ghi của bạn để các chuỗi vẫn có thể so sánh.

Kết luận: câu trả lời như một sự phụ thuộc một dòng

Việc thu thập câu trả lời của ChatGPT giảm xuống chỉ còn một yêu cầu: POST { actor: "scraper.chatgpt", input: { prompt, country } } với x-api-token của bạn, đọc result_text để lấy câu trả lời và content_references để lấy nguồn, và lưu cặp đó với task_id của nó. Cùng một khách hàng, hướng đến một tập hợp truy vấn và một lịch trình, trở thành một chương trình chia sẻ trích dẫn; hướng đến các diễn viên đồng hành, nó trở thành độ bao phủ của toàn bộ cảnh quan câu trả lời AI.

Sẵn sàng để Xây dựng Pipeline Dữ liệu Câu trả lời AI của Bạn?

Tham gia cộng đồng của chúng tôi để yêu cầu một kế hoạch miễn phí và kết nối với các nhà phát triển đang xây dựng các pipeline câu trả lời AI: Discord · Telegram.

Đăng ký tại app.scrapeless.com để có tín dụng dùng thử miễn phí, và hướng diễn viên scraper.chatgpt tới các truy vấn, thị trường và lịch trình mà chương trình giám sát của bạn cần.

Câu Hỏi Thường Gặp

Q: Việc thu thập câu trả lời của ChatGPT có hợp pháp không?

Diễn viên thu thập nội dung câu trả lời được công khai. Các quy tắc khác nhau theo từng khu vực pháp lý và theo các điều khoản dịch vụ của nền tảng, vì vậy hãy xem xét các Điều khoản Dịch vụ liên quan và tham khảo ý kiến luật sư cho trường hợp sử dụng của bạn — đặc biệt trước khi phân phối lại các câu trả lời đã thu thập. Không bao giờ thu thập dữ liệu cá nhân được bảo vệ theo GDPR hoặc CCPA.

Q: Làm thế nào tôi xác thực?

Mỗi yêu cầu đều có tiêu đề x-api-token: <your key>. Một khóa tài khoản hoạt động trên cả scraper.chatgpt và tất cả các diễn viên Scrapeless khác. Tạo một khóa trên gói miễn phí tại app.scrapeless.com.

Q: Tôi có cần proxy không?

Không. Kết nối đầu ra dân cư và định tuyến địa lý đã được tích hợp vào diễn viên — country trong đầu vào là toàn bộ cấu hình.

Q: country thực chất thay đổi điều gì?

Thị trường đầu ra dân cư cho lần chạy. Các câu trả lời và trích dẫn của ChatGPT nhạy cảm với địa phương, vì vậy một lần chạy ghim DE có thể nêu tên các sản phẩm khác nhau và trích dẫn các nguồn khác nhau so với một lần chạy ghim US cho cùng một truy vấn.

Q: Làm thế nào tôi có thể lấy các trích dẫn dưới dạng danh sách sạch?

Đọc task_result.content_references — mỗi mục là { title, url, attribution }. Không cần phân tích văn bản; các dấu hiệu nội tuyến trong result_text chỉ ở đó nếu bạn muốn gắn trích dẫn với các câu.

Q: Tôi có thể chạy điều này mà không cần SDK hoặc đại lý AI không?

Có. Đây là HTTP thuần túy — curl, Python requests, Node fetch, hoặc bất kỳ khách hàng HTTP nào cũng hoạt động trực tiếp với POST /api/v2/scraper/execute. Không yêu cầu SDK.

Q: Mã giống nhau có hoạt động cho Grok hoặc Gemini không?

Chất chứa và xác thực là giống nhau; thay đổi tên diễn viên và điều chỉnh các trường đầu vào đặc thù của nền tảng (Grok yêu cầu một mode, Perplexity yêu cầu country). Các khóa task_result khác nhau theo nền tảng, vì vậy ánh xạ chúng theo từng diễn viên.