如何通过结构化提取减少Claude代码网页研究令牌

Daniel Kim

Lead Scraping Automation Engineer

07-Aug-2026

TL;DR:

Claude Code 网络研究令牌受到模型接收到的内容驱动，而不仅仅是穿越网络的内容。 原始 HTML、重复导航、重复 URL、工具元数据和冗长的结果都可能消耗上下文。
在推理步骤之前减少内容。 优先进行主要内容提取、狭窄选择器、字段级提取，以及一个拒绝不完整结果的 JSON 架构。
保留源 URL 和证据片段。 只有在答案保持可审计和完整的情况下，较小的负载才是有用的。
MCP 可以将获取与推理分开。 Claude Code 选择一个有限的无抓取工具；该工具仅返回任务所需的字段。
我们的可重复代理测试将固定输入从 181,892 切割到 434 个比较令牌。 它使用了一个公共文档页面、一个问题和 cl100k_base；这些不是 Claude 计费令牌。

Claude Code 可以搜索网络、抓取页面、调用 MCP 工具，并对返回的材料进行推理。这使得研究变得方便，但便利可能隐藏了一个基本的成本问题：一个需要六个事实的问题可能会把成千上万的无关字符拉入上下文中。

解决办法不是“更积极地总结”。总结是另一个模型任务，可能会删除你所需的证据。更好的工作流在获取时减少内容，验证结果，并向主要模型发送一个小的证据合同。

本教程为 Claude Code 建立了与无抓取 MCP 服务器和通用抓取 API 模式相结合的工作流。

Claude Code 网络研究令牌来源

将研究路径视为四个独立的卷：

获取的字节 → 提取的字符 → 模型上下文令牌 → 结构化答案令牌

它们是相关的，但不是可以互换的。

页面获取卷

这是浏览器、获取工具或抓取服务所接收到的内容。渲染的页面可能包含脚本、样式、导航、cookie 横幅、嵌入状态以及多个路由的内容。获取卷影响网络和抓取成本，但它不必进入 Claude 的上下文。

返回的字符

工具选择它返回的内容：原始 HTML、可读的 Markdown、选定元素或 JSON 对象。这是最有用的控制点。在这里删除样板可以节省后续每一步的处理。

主模型上下文

Claude Code 看到系统指令、对话历史、工具定义、工具结果和你当前的请求。简洁的工具响应仍然可以与大型项目上下文相邻。使用当前的 Claude Code 上下文窗口文档 来了解上下文是如何管理的，但测量自己的工作流而不是假设一个固定的容量或价格。

结构化答案输出

一个 JSON 架构约束最终答案。它不会自动缩小之前的页面内容。对工具结果和最终响应都应用结构。

在优化之前建立基准

使用一个研究问题和一个固定源集。记录：

请求的源 URL；
每个工具返回的字符；
模型和 Claude Code 版本；
用于测量的分词器或 API 使用字段；
输入和输出令牌计数；
所需答案字段和完整性结果。

Claude Code 使用 claude --help 显示当前 CLI 选项。在用于本文的机器上，Claude Code 2.1.162 列出了 --mcp-config，--tools，--output-format 和 --json-schema。当前的 Claude Code 工具参考 文档将 WebSearch 和 WebFetch 列为内置工具。

不要将这些 Claude Code 工具与 Anthropic API 网络工具混淆。API 的 网络获取文档 描述了服务器端功能，例如动态过滤。为 API 记录的功能并不自动成为 Claude Code WebFetch 选项。

第1步：优先考虑主要内容而不是原始 HTML

原始 HTML 对于调试选择器或保留确切标记是有用的。它通常是一个较差的研究负载。

要求获取层删除：

脚本、样式、SVG 和模板内容；
网站导航和重复的页脚；
同意和帐户壳；
问题不需要的隐藏状态；
无关的推荐和评论。

可读的 Markdown 通常是一个良好的首次减少。它保留标题、列表、链接和代码，同时丢弃大部分展示层。仍然要验证标题和所需部分的存在；干净的登录页并不是成功的提取。

第2步：仅提取问题所需的字段

主要内容可以比答案大得多。在抓取多个页面之前，将问题转化为提取合同。
对于文档比较，合同可能是：

json Copy

{
  "type": "object",
  "required": ["source_url", "tools", "complete"],
  "properties": {
    "source_url": { "type": "string", "format": "uri" },
    "tools": {
      "type": "array",
      "items": {
        "type": "object",
        "required": ["name", "evidence"],
        "properties": {
          "name": { "type": "string" },
          "evidence": { "type": "string", "maxLength": 1200 }
        }
      }
    },
    "complete": { "type": "boolean" }
  }
}

保持证据简短，但不要将其减少到不支持的值。像 supports_web: true 这样的字段紧凑且难以审核。源 URL 加上一个有限的证据片段让审核者能够验证解释。

对于重复页面形状，使用定向选择器或结构化提取端点。对于多样化页面，先请求可读内容，然后选择相关部分，尽可能使用确定性代码。

第 3 步：在获取之前去重 URL

研究代理通常通过导航、搜索参数、语言别名或片段遇到相同的文档。在获取之前进行标准化：

解析相对 URL；
移除片段；
应用批准的查询参数政策；
仅跟随重定向一次并记录最终的规范身份；
对接受的内容进行哈希以捕捉镜像或重复。

不要删除每个查询参数。地区、版本、产品或日期参数可能会改变文档。标准化规则属于源政策，而不是通用字符串清洁工具。

一个小缓存也可以防止在一次运行中重复收集。以规范源、地区、提取合同版本和新鲜度要求为键。

第 4 步：将 Claude Code 连接到 Scrapeless MCP

MCP 保持面向代理的界面简洁。Claude Code 可以看到命名的工具和模式；Scrapeless 在它们背后处理搜索、公共页面抓取或云浏览器操作。

先决条件：

已安装 Claude Code 和 Node.js；
具有 Scrapeless 帐户和 API 密钥；
有授权的公共目标；
一个页面和工具调用预算。

将密钥存储在环境变量中。这个项目级示例使用变量扩展，因此秘密不会被提交：

json Copy

{
  "mcpServers": {
    "scrapeless": {
      "command": "npx",
      "args": ["-y", "scrapeless-mcp-server"],
      "env": {
        "SCRAPELESS_KEY": "${SCRAPELESS_KEY}"
      }
    }
  }
}

将对象保存为 .mcp.json 在批准的项目中，并从该项目开始 Claude Code。运行 claude mcp list 以检查连接健康。Claude Code 需要对项目范围的 MCP 服务器的批准；在批准之前检查命令和环境密钥。

在编辑验证期间，当前的 Scrapeless 包通过标准 MCP 客户端流程通过 stdio 启动。未执行凭证网络调用，因为在验证环境中未存在生产密钥。将第一次真实的工具调用视为验收测试：一个允许的 URL，一个必需的字段集，以及不进行广泛抓取。

当前的 Claude Code MCP 文档 解释了范围、传输、工具发现、输出限制和环境变量扩展。Scrapeless Claude 集成指南提供了特定产品的服务器配置。

第 5 步：给代理一个有限的研究合同

“研究这个主题”邀请探索。有限的提示定义了来源、字段和停止条件。

使用如下请求：

搜索最多五个关于命名产品的官方来源。去除规范 URL 的重复。对于每个接受的来源，返回标题、最终 URL、发布时间或更新日期（可见时）以及支持所需特征的一个证据片段。在三个完整来源后停止。标记缺失字段；不要推断它们。

这个合同同时控制四种失败模式：无限搜索、重复获取、冗长结果和虚构字段。

还需过滤 MCP 工具集。文档任务可能需要搜索和一次性 Markdown 提取，而不是每个浏览器操作。更少的可见工具减少选择模糊性，简化权限审查。

第 6 步：一起衡量减少和完整性

我们使用公共的 Claude Code 工具参考页面和一个固定问题：

哪些内置的 Claude Code 工具可以搜索或获取公共网络内容，以及研究工作流程应该应用什么限制？

同一 cl100k_base 分词器计算了问题和每种材料变体。这是一个开放的比较代理，不是 Anthropic 的分词器，也不是 Claude 的计费测量。

与问题一同发送的材料	字符数	比较标记	完整性检查
原始 HTML	548,951	181,892	所需术语存在但被埋藏
主要内容	45,931	9,444	`WebSearch` 和 `WebFetch` 存在
定向 JSON	2,138	434	两个工具加上源和证据字段存在