如何构建一个使用实时网络数据的代理RAG管道

Daniel Kim

Lead Scraping Automation Engineer

17-Aug-2026

TL;DR:

代理RAG让代理决定何时以及如何检索证据。 检索循环可以重新构造查询、检查其他来源、评分证据，并在明确限制下停止。
实时网络数据需要一个单独的获取层。 搜索找到候选来源，浏览器渲染展示客户端页面，归一化将页面内容转换为可追溯的文档。
无废料的MCP服务器为MCP客户端提供了一个搜索、页面提取和云浏览器操作的工具界面。 代理可以从任务中选择这些工具，而不是硬编码一个检索路径。
评估属于每一个边界。 独立测量来源相关性、提取完整性、引用支持、答案质量、延迟和成本。

代理RAG架构一览

代理RAG管道将检索决策置于代理循环中，而不是运行一个固定的先检索后生成的序列。

原始的 检索增强生成架构 将生成器与检索的外部记忆结合。代理RAG在这一基础上增加了规划和工具使用：

问题 → 计划 → 搜索 → 渲染或获取 → 归一化 → 评分 → 存储或回答 → 引用

每一个箭头都是一个合同。搜索返回候选项，而不是事实。渲染返回页面状态，而不是干净的记录。向量存储返回相似块，而不一定是足够的证据。代理应在当前文物通过下一个阶段的检查后再继续。

代理RAG优于固定管道的情况

当检索需求因问题而异时，代理RAG是有用的。

对于已知语料库、稳定分块和单一检索策略，固定管道通常更简单。代理控制在问题可能需要多个搜索、源比较、JavaScript渲染页面、新鲜度检查或在弱证据后进行二次检索时将其成本赚回来。

ReAct研究模式 将推理痕迹与行动和观察交错。在检索系统中，该模式变成一个有界循环：决定一个工具，检查其输出，更新证据状态，并继续或停止。

不要仅仅为重命名一个确定性序列而添加代理。如果每个请求都使用相同的查询、检索器、块计数和答案提示，那么一个普通的RAG管道更容易测试和操作。

前提条件

代理RAG构建在需要模型循环之前需要有一个工作的检索工具层。

Node.js和一个能够运行ECMAScript模块的项目。
在项目中安装了@modelcontextprotocol/sdk和scrapeless-mcp-server。
一个Scrapeless账户和SCRAPELESS_KEY环境变量。
一个用于最终规划和答案生成循环的模型提供者密钥。
一个文档存储，可以保留规范URL、标题、检索时间、内容哈希和块偏移。

注意：下面的MCP客户端握手需要SCRAPELESS_KEY。已运行包安装，而经过身份验证的握手和实时工具调用仍然是当该产品密钥在运行时不存在时的前提条件。

连接Scrapeless MCP服务器

Scrapeless MCP服务器通过本地标准输入过程或托管的可流式HTTP端点连接到任何符合标准的MCP客户端。

安装确切的客户端SDK和服务器包：

bash Copy

pnpm add @modelcontextprotocol/sdk scrapeless-mcp-server

创建一个客户端，通过标准输入连接，检查工具界面，并干净地关闭传输：

javascript Copy

import { Client } from "@modelcontextprotocol/sdk/client/index.js";
import { StdioClientTransport } from "@modelcontextprotocol/sdk/client/stdio.js";

const transport = new StdioClientTransport({
  command: "pnpm",
  args: ["exec", "scrapeless-mcp-server"],
  env: {
    ...process.env,
    SCRAPELESS_KEY: process.env.SCRAPELESS_KEY,
  },
});

const client = new Client(
  { name: "agentic-rag-client", version: "1.0.0" },
  { capabilities: {} },
);

await client.connect(transport);
const { tools } = await client.listTools();
console.log(tools.map((tool) => tool.name));

// Attach `tools` to the tool adapter used by your agent framework.

await client.close();

MCP生命周期规范定义在正常操作前的初始化和能力协商。因此，列出工具是正确的烟雾测试：它证明客户端和服务器在代理依赖之前已经完成协议握手。

无废料的MCP启动文章讲述了服务器的角色，而Mastra集成展示了附加到特定代理框架的相同工具界面。

如何实际使用：提示检索代理

代理应接收一个目标、一个证据合同和一个停止规则。

一个有用的提示是具体的：

寻找能够回答这个问题的当前主要来源。首先进行搜索，当获取的响应中缺少所需内容时才渲染页面，为每个主张保留规范URL，拒绝不直接支持答案的来源，在证据充足或检索预算耗尽后停止。
指令将源发现与证据接受分开。它还防止了一个开放式的浏览循环。

可调整的提示

检索任务	提示约束
产品变更跟踪	要求供应商自己的发布说明及其出版日期
标准研究	优先考虑标准机构并保留章节 URL
市场比较	要求等效字段并明确记录缺失值
技术故障排除	优先考虑官方文档和可重复配置

使用 Scrapeless 开始抓取

通过 Scrapeless 提升您的网络抓取和自动化工作流程！
今天注册并获得 5 美元的免费积分 — 无需信用卡。

立即在 Scrapeless Dashboard 领取您的免费积分。

搜索和呈现新鲜来源

实时网页检索应从最便宜的可靠来源升级到更丰富的来源。

首先开始搜索以收集候选 URL 和片段。当响应的 HTML 包含答案时，获取干净的页面内容。仅在客户端执行控制相关页面状态时使用浏览器渲染。这可以保持获取层的快速，而不假装每个页面都是静态的。

记录每个接受的文档的检索封套：

json Copy

{
  "canonicalUrl": "https://example.com/primary-source",
  "title": "Primary source title",
  "retrievedAt": "illustrative timestamp",
  "contentHash": "illustrative hash",
  "retrievalMethod": "search_then_render",
  "text": "Illustrative normalized page text"
}

上述值是一个说明性示例；字段是合同。即使标准化文本移动到另一个存储，也应保留原始 URL。