ChatGPT 抓取器 API：捕获答案和引用证据

Emily Chen

Advanced Data Extraction Specialist

30-Sep-2026

TL;DR:

ChatGPT答案快照记录在选择条件下的一个观察。 保存提示、国家和搜索设置以及返回的答案。
答案收集和网页提取解决不同问题。 答案中的引用并不能证明所引用页面支持每一句话。
ChatGPT Scraper API使用任务生命周期。 创建任务、保留其标识符，并单独读取完成的结果。
缺失的引用字段需要明确处理。 在将原始负载减少到监控表之前，保存原始负载。
免费开始。 新的Scrapeless帐户包括免费的Scraping Browser运行时间——请在app.scrapeless.com注册。

引言：在测量可见性之前捕捉答案

品牌可见性观察需要实际返回的答案，而不是从模型的记忆中重建的答案。提示和收集的情况是该观察的一部分。更改提示可能会改变建议和附加的来源。

ChatGPT Scraper API将答案表面收集为数据。它不会要求语言模型访问页面列表并提取其内容。如果这是你的目标，使用ChatGPT帮助构建网站抓取器的工作流程涵盖了不同的获取问题。即使在两个数据集中出现相同的模型名称，也要保持这两个数据集的分离。

本指南围绕当前Scrapeless任务接口构建答案档案。档案保留原始响应字节，然后检查答案和引用字段。它为GEO研究团队提供一个可辩护的观察单元，而不是将一个响应视为普遍排名。

ChatGPT答案档案可以支持什么？

答案档案支持在受控提示集和收集条件下进行比较。它的首要任务是保留证据；评分在之后。

品牌提及审查。 检查答案是否提到产品，并保留周围段落，而不是计算模糊的子串。
引用清单。 将源URL与源标题分开存储，以便重命名页面不会意外成为新的来源。
消息分析。 比较在相同问题措辞下给出的推荐理由。
区域观察。 记录国家作为收集设置，同时认识到仅凭国家并不能再现每个个性化用户会话。
内容规划。 检查在决定新文章应提供哪些证据之前，答案中出现了哪些问题和源类型。

关于公共HTTP标准的提示是一个有用的初始示例，因为该主题有稳定的参考文档。商业推荐提示可以在响应处理正常工作后跟进。

为什么使用Scrapeless ChatGPT演员？

Scrapeless ChatGPT演员通过文档化的接口暴露答案文本和相关源信息。演员标识符为scraper.chatgpt；当前的ChatGPT答案捕获合约描述了其输入和响应字段。演员位于AI Scraper产品首页下，而不是单独的产品路径。

托管的接口消除了在客户端维护聊天界面选择器的需要。它不会使所有答案属性成为强制性，不会消除模型变异，也不会将引用变为经过验证的事实。这些职责仍然由消费响应的应用程序承担。

在扩展提示集合之前，请检查Scrapeless定价以获取当前商业条款。这个示例故意禁用了购物数据，并没有做出延迟或每个答案成本的承诺。

收集答案的前提条件

使用Python 3.12、Requests 2.34.2和具有ChatGPT演员访问权限的Scrapeless帐户。将SCRAPELESS_API_KEY配置在本地；不要在提示、源文件或保存的响应元数据中放置凭据。

经过身份验证的任务创建和结果检索需要该密钥。此示例已针对当前合约进行语法检查，但在凭据不可用的情况下，经过身份验证的答案捕获仍待实时验证。以下没有任何示例答案被呈现为完成的API结果。

在您的活动虚拟环境中安装HTTP客户端：

bash Copy

python -m pip install requests==2.34.2

创建具有明确答案设置的任务

任务创建将演员名称和输入对象发送到当前请求端点。prompt 和 country 是 ChatGPT 演员所必需的；当数据集依赖于它们时，选择的可选布尔值应明确指出。

设置	示例选择	保留的原因
`prompt`	关于公共 HTTP 来源的问题	定义实际提出的问题
`country`	`US`	记录区域收集条件
`web_search`	`true`	请求搜索增强；检查返回的证据
`shopping`	`false`	使此示例专注于答案和来源信息

端点是 POST /api/v2/scraper/request 和 GET /api/v2/scraper/result/{task_id}。不要推断旧的单次调用示例使用相同的生命周期。任务创建响应不是已完成的答案。

请求成功与应用程序完成之间的区别也出现在HTTP 响应语义：HTTP 状态描述了交换，而任务的状态描述了工作。

使用 Scrapeless 开始抓取

使用 Scrapeless 强化您的网络抓取和自动化工作流程！
今天注册并获得 5美元的免费信用 — 无需信用卡。

立即在 Scrapeless Dashboard 领取您的免费信用。

在检查字段之前保留原始响应

答案收集器应该在将原始响应解析为更狭窄的模式之前保存原始响应。这在服务返回意外的封装或条件字段发生变化时保留证据。

将以下完整脚本保存为 chatgpt_capture.py。注意：此块需要实际的 API 密钥，并保持待验证的实时验证。 首先在不使用 TASK_ID 的情况下运行它以创建任务。保留创建响应，并在稍后调用相同脚本以读取该任务的结果时使用其返回的标识符作为 TASK_ID。

python Copy

import json
import os
from datetime import datetime, timezone
from pathlib import Path
import requests

root = Path('answer-evidence')
root.mkdir(exist_ok=True)
task_id = os.environ.get('TASK_ID')
headers = {'x-api-token': os.environ['SCRAPELESS_API_KEY']}
settings = {
    'prompt': 'Which public sources explain HTTP semantics?',
    'country': 'US', 'web_search': True, 'shopping': False
}
if task_id:
    response = requests.get(
        f'https://api.scrapeless.com/api/v2/scraper/result/{task_id}',
        headers=headers, timeout=60)
    name = 'result'
else:
    response = requests.post(
        'https://api.scrapeless.com/api/v2/scraper/request',
        headers=headers,
        json={'actor': 'scraper.chatgpt', 'input': settings}, timeout=60)
    name = 'creation'

# Keep the original bytes, including unsuccessful responses.
stamp = datetime.now(timezone.utc).strftime('%Y%m%dT%H%M%S%fZ')
path = root / f'{name}-{stamp}'
path.with_suffix('.body').write_bytes(response.content)
path.with_suffix('.meta.json').write_text(json.dumps({
    'task_id': task_id, 'settings': settings if not task_id else None,
    'http_status': response.status_code, 'captured_at': stamp
}, indent=2))
response.raise_for_status()
data = response.json()
if not task_id:
    print(json.dumps(data, indent=2))
    print('Keep the returned task identifier; set TASK_ID for result retrieval.')
else:
    status = data.get('status')
    print(json.dumps({'task_id': task_id, 'status': status}))
    if status == 'success':
        payload = data.get('task_result')
        if not isinstance(payload, dict):
            raise ValueError('Successful task has no object payload')
        if not isinstance(payload.get('result_text'), str):
            raise ValueError('Answer text missing; inspect saved raw body')
        print(json.dumps({
            'answer_characters': len(payload['result_text']),
            'citation_field_present': 'content_references' in payload,
            'citation_field_type': type(payload.get('content_references')).__name__
        }))

该脚本每次调用时发出一个请求。它并不承诺任务在请求超时内完成。检查保存的创建封装，而不是猜测其标识符字段，然后通过结果端点读取该特定任务。

带有 pending 或 running 的结果是未完成的。带有 failed 的结果是失败的观察，而不是空答案。在 success 上，检查 task_result 并及时将完成的结果存储在您自己的档案中。任务生命周期定义状态状态；对于此设计，固定保留承诺是没有必要的。

在不夸大其词的情况下阅读引用证据

引用证据记录与答案相关的来源；它并不验证答案的真实性。返回的 URL 可能是源链接、补充链接或与搜索增强相关的条目。保持这些类别的区别。

演员字段	解释	应用处理
`result_text`	Markdown 答案文本	需要以接受的答案观察
`model`	返回的模型标识符	存储接收到的值；不要硬编码
`web_search`	返回的搜索增强标志	与请求的设置进行比较
`content_references`	答案归属信息（如提供）	保留条目并区分缺失和空白
`search_result`	搜索相关条目	保留标题、摘要、归属和 URL（如果存在）
`links`	补充链接	不要自动将每个链接计为答案引用