使用 Scrapeless 进行 ChatGPT 网页抓取：从提示到已验证的 CSV 和 JSON

Daniel Kim

Lead Scraping Automation Engineer

12-Oct-2026

摘要：

ChatGPT 的网页抓取取决于连接到客户端的工具。 模型指令和获取到的源页面是工作流中的不同部分。
ChatGPT 与 Scrapeless MCP 端点需要兼容的身份验证方式。 仅有服务器 URL 并不能建立可用连接。
发现到的工具目录证明的是接口存在，而不是采集完成。 在接受提取记录之前，应验证实际返回的源内容。
CSV 和 JSON 写出后都应检查。 重新打开两个文件，将记录标识符和数值与已接受的输入进行比对。

一次对话回答可以包含一个看上去可信的表格，却既不生成数据文件，也不逐行核对背后的来源。只有当应用把这些分离的操作显式呈现出来时，ChatGPT 网页抓取才真正变得有用。

此工作流使用 Scrapeless MCP 作为网页工具层，用 ChatGPT 作为任务接口，并用确定性的代码进行文件校验。它解释连接要求，给出有边界的采集提示，并提供可执行的工具发现与导出检查。客户端绑定和经过认证的网页获取仍然依赖账户前提条件；本指南并不声称存在原生、预配置好的 ChatGPT 集成。

现有的 ChatGPT 抽取工作流将重点放在将模型作为解析器使用。这里的重点是 MCP 边界，以及把提示驱动的采集任务转化为可检查文件所需的证据。

使用已连接的网页工具层可以做什么

已连接的网页工具层允许客户端发起采集操作请求，其模式（schema）可被宿主发现。真正有用的输出是被接受的源数据，而不是对某个工具“可能”返回什么的文字描述。

有边界的参考采集： 检查一份经过批准的短 URL 列表，并保留原始页面身份。
有来源支撑的抽取： 在每个提取值旁保留支撑的段落或字段。
缺失字段审查： 对不可用的值进行报告，而不是让模型凭记忆补全。
受控的范围扩展： 只有在一小部分样本通过内容约定后，才扩展 URL 列表。
文件对账： 将已接受的行与导出层写出的文件进行比对。

这些操作需要独立的权限和实现。一个 MCP 采集工具并不会自动提供本地文件系统写入能力，而客户端的文件生成功能应在正在使用的实际环境中加以核实。

为什么在网页获取中使用 Scrapeless MCP？

Scrapeless MCP 通过工具接口暴露网页操作，兼容的客户端可以发现这些工具。本地工具目录包含 google_search 和 scrape_markdown；它们的模式分别标识查询和 URL 输入。

先用工具发现完成源查找步骤，然后检索选定的源内容。在让模型提取记录之前先保存返回的材料。如果任务需要交互式页面状态，Agent Browser 是对应的浏览器产品；应选择其合适的工具路径，而不是把每个 URL 都当作相同操作处理。

Scrapeless MCP 快速入门介绍了已文档化的传输方式。保持采集层与抽取模式和导出检查相互独立，这样源抓取失败就不会被一个格式良好的回答所掩盖。

前提条件与支持的 ChatGPT 设置

ChatGPT 设置需要受支持的自定义 MCP 连接、工作区权限，以及与所连接服务器兼容的身份验证方式。在报告“已连接”之前，必须在实际客户端上进行测试。

标准的 ChatGPT 自定义 MCP 流程支持远程传输以及其文档化的身份验证选项。ChatGPT MCP 授权约定并不意味着任意服务商的 API-key 头可以直接作为客户端设置使用。Scrapeless 的托管 MCP 配置使用 x-api-token，而本地 stdio 配置使用 SCRAPELESS_KEY。

这一差异需要有兼容的、带身份验证的连接层，例如合适实现的服务端适配器。将服务商凭证保存在服务器上，将访问范围限定在已授权用户，并验证实际的绑定流程。仅仅把托管的 Scrapeless URL 粘贴到客户端中，并不能解决身份验证不匹配的问题。

完整工作流的前提条件包括：

一个 Scrapeless 账号以及用于网页采集的有效凭证。
一个允许的来源列表和已定义的记录模式。
一个在传输和身份验证兼容性方面已验证的 ChatGPT 客户端连接。
一个行为已检查过的文件写入或导出组件。
用于本地发现示例的 Node.js，以及用于导出检查器的 Python。

本指南中未执行 ChatGPT 连接层和已认证的网络调用。本地 MCP 发现和独立文件检查器是分别执行的。示例并不意味着任何账户设置或服务器部署。

连接并检查 Scrapeless 工具表面

工具发现用于确定已连接服务器声明支持哪些操作。MCP 工具发现约定包含输入模式；在发送参数前先阅读它们。

对于本地检查，请使用 @modelcontextprotocol/sdk 版本 1.30.1 和 scrapeless-mcp-server 版本 0.6.3。在项目中安装或复现这些固定依赖，然后将以下脚本保存为 discover.mjs，与其 node_modules 目录放在一起。

此脚本会启动本地服务器、发现目录，并为选定工具构建一个注册表。仅元数据的值刻意不是 API 凭据，而且脚本不会执行任何远程网页获取。

javascript Copy

import { Client } from '@modelcontextprotocol/sdk/client/index.js';
import { StdioClientTransport } from '@modelcontextprotocol/sdk/client/stdio.js';
import { resolve } from 'node:path';

const client = new Client({ name: 'web-record-check', version: '1.0.0' });
try {
  await client.connect(new StdioClientTransport({
    command: process.execPath,
    args: [resolve('node_modules/scrapeless-mcp-server/build/index.js')],
    env: { ...process.env, SCRAPELESS_KEY:
      process.env.SCRAPELESS_KEY || 'metadata-discovery-only' },
    stderr: 'pipe'
  }));
  const tools = [];
  let cursor;
  do {
    const result = await client.listTools(cursor ? { cursor } : {});
    tools.push(...result.tools);
    cursor = result.nextCursor;
  } while (cursor);
  const selected = tools.filter(tool =>
    ['google_search', 'scrape_markdown'].includes(tool.name));
  if (selected.length !== 2) throw new Error('Required tool definitions missing');
  const registry = new Map(selected.map(tool => [tool.name, {
    schema: tool.inputSchema,
    call: args => client.callTool({ name: tool.name, arguments: args })
  }]));
  console.log(JSON.stringify({ discovered: tools.length,
    selected: [...registry.keys()], remote_web_calls: 0 }));
} finally {
  await client.close();
}

固定版本的本地安装发现了 25 个工具，并选中了其中两个具名操作。在通过注册表调用获取之前需要真实凭据。此检查不能证明 ChatGPT 已连接到服务器，也不能证明某个目标页面已经被获取。

实际用法：提示一个有界的采集任务

一个有效的采集提示会指明工具路径、来源范围、所需字段以及停止条件。让第一个任务足够小，以便可以检查每条返回记录。

Prompt requirement	Example instruction	Why it matters
Source scope	Use only the approved reference URLs	Prevents unrelated discovery from expanding the job
Fields	Return document number, title, source URL, and capture time	Defines the extraction contract
Evidence	Preserve the acquired title or supporting passage	Makes values checkable
Missing values	Report a missing required field as unresolved	Prevents invented completion
Limits	Stop after the assigned source list	Makes coverage measurable
Export	Pass accepted records to the verified writer	Separates a table from an actual file

对于参考文档任务，一个提示可以是：

使用已配置的网页获取工具检查批准的 RFC 参考页面。返回 RFC 标识符、文档标题、来源 URL 和实际捕获时间。为每条记录保留来源证据。不要从 URL 推断标题，也不要用搜索摘要替代页面内容。在给定列表处停止，并单独报告未解决的来源。

这是一个建议的客户端任务，而不是已捕获的 ChatGPT 执行记录。在将其用于真实客户端之前，请完成连接和账户前提条件。

Start Scraping with Scrapeless

使用 Scrapeless 强化你的网页抓取和自动化工作流！
立即注册即可获得 5 美元免费额度 —— 无需信用卡。

现在就在 Scrapeless Dashboard 领取你的免费额度。

将记录与获取的来源进行核对

在导出前，记录的接受应确认来源身份和必需值。一个模式有效的对象仍然可能包含不被支持的标题，或来自无关文档的值。

对于参考任务，核实记录中的 RFC 标识符与页面身份相匹配，并确认标题确实是在已获取内容中观测到的。保留来源捕获引用，以便其他组件可以检查该决策。

使用 来源采集文档将记录与生成它的活动联系起来。将获取失败、提取缺失和已接受数据保持为不同的状态。

不要用模型生成的时间戳代替获取时间。捕获组件应提供其实际观测到来源的时间。同样，请求的 URL 并不自动等同于导航后的最终 URL。

导出并验证 CSV 和 JSON 文件

一个经过验证的导出会重新打开它写出的文件，并将其与已接受的输入进行比较。将已接受的参考记录保存为 accepted-records.json，然后运行这个独立的 Python 检查器。

检查器期望看到任务特定字段 rfc、title、source_url 和 captured_at。其来源验证有意仅限于经批准的 RFC 参考范围；对于不同来源，请有意识地调整该约定。

python Copy

import csv
import json
from pathlib import Path
from urllib.parse import urlsplit

fields = ["rfc", "title", "source_url", "captured_at"]
records = json.loads(Path("accepted-records.json").read_text(encoding="utf-8"))
seen = set()
for record in records:
    if not isinstance(record.get("rfc"), int) or record["rfc"] in seen:
        raise ValueError("RFC identifier must be an integer and unique")
    for field in fields[1:]:
        if not isinstance(record.get(field), str) or not record[field].strip():
            raise ValueError("Required string field missing")
    source = urlsplit(record["source_url"])
    if source.scheme != "https" or source.hostname != "www.rfc-editor.org":
        raise ValueError("Source is outside the approved reference scope")
    if source.path != f'/info/rfc{record["rfc"]}/':
        raise ValueError("Source URL does not match the RFC identifier")
    seen.add(record["rfc"])
rows = [{field: record[field] for field in fields} for record in records]
Path("records.json").write_text(json.dumps(rows, ensure_ascii=False, indent=2),
                                encoding="utf-8")
with Path("records.csv").open("w", encoding="utf-8", newline="") as output:
    writer = csv.DictWriter(output, fieldnames=fields)
    writer.writeheader()
    writer.writerows(rows)
with Path("records.csv").open(encoding="utf-8", newline="") as source:
    csv_rows = [{**row, "rfc": int(row["rfc"])} for row in csv.DictReader(source)]
json_rows = json.loads(Path("records.json").read_text(encoding="utf-8"))
assert csv_rows == json_rows == rows
print(json.dumps({"records": len(rows), "csv_rows": len(csv_rows),
                  "json_rows": len(json_rows), "files_match": True}))