什么是网络代理？架构、浏览器工具和用例

TL;DR:

• 网络代理将目标转化为浏览器和数据操作。 它规划一个有限的序列，调用特定工具，观察每个结果，并验证最终交付成果。
• 浏览器工具为网络代理提供执行层。 搜索、页面捕获、导航、点击、输入和提取使系统超越了仅生成文本的聊天机器人。
• 有用的网络代理结合了模型判断与确定性控制。 架构、白名单、验证器、预算和确认门将开放式规划师限制在可审计的工作流程内。
• 结构化输出是任务的一部分，而不是事后考虑。 网络代理应返回符合声明架构的记录，并包含足够的证据供人或下游系统进行检查。
• 有影响力的操作需要人工决策。 购买、账户更改、表单提交、消息以及涉及敏感数据的任何操作都应暂停以获得明确批准。
• 免费开始。 新的Scrapeless账户包括免费的爬取浏览器运行时——请在 app.scrapeless.com 注册。

---

引言：网络是一个环境，而不是文档

网络代理将网站视为可以收集证据和完成有限任务的环境。聊天机器人可以解释如何比较三种产品；网络代理可以打开公共产品页面，从每个页面提取相同的字段，规范化值，并返回比较表。

这种额外的能力改变了工程问题。模型只是规划者。完整的系统还需要一个浏览器或搜索界面、输入工具、状态、输出验证、安全政策以及事件记录。

本指南定义了网络代理，将其与聊天机器人和固定自动化区分开，绘制了浏览器工具架构，并展示了Scrapeless MCP服务器和 Scrapeless爬取浏览器 如何融入公共网络研究工作流程。

---

什么是网络代理？

网络代理是一个AI系统，能够解读目标、选择面向网络的工具、在实时页面上操作、观察结果并生成经过检查的交付成果。其定义特征不是聊天接口，而是规划与外部行动之间的受控循环。

代理通常包含六个功能层：

1. 目标和政策。 用户请求被转化为任务、允许的域、禁止的操作、输出格式和完成规则。
2. 规划者。 模型根据目标和当前状态选择下一个工具调用。
3. 工具层。 搜索、HTTP获取、浏览器导航、互动、页面读取和文件操作通过架构暴露确定性操作。
4. 状态。 运行时存储已访问的URL、提取的事实、开放的问题、工具输出和剩余工作。
5. 验证器。 规则检查所需字段、引用、重复项、总计或其他特定任务的接受标准。
6. 控制边界。 预算、白名单、凭证和批准门限制代理可能的操作。

模型上下文协议工具规范 将工具描述为受模型控制的具有命名架构的功能。这个契约很重要，因为模型选择一个动作，而应用程序控制实施、权限和可观察结果。

---

网络代理与聊天机器人、RPA和固定浏览器脚本的区别

网络代理与邻近的自动化模式在选择操作和响应变化的证据方面有所不同。

系统	选择下一个行动	读取实时网页状态	处理变异	最佳适配
聊天机器人	从提示和上下文生成文本	仅当附加工具时	受提供的上下文限制	解释、起草、问答
固定浏览器脚本	遵循编码路径	是	通过开发人员编写的显式分支	稳定、重复的流程
RPA工作流	遵循设计的业务流程	是	通过配置的规则和选择器	具有已知屏幕的后端流程
网络代理	根据目标和观察选择工具	是	在有限政策内重新规划	研究和具有变路径的多步骤网络任务

当路径已知且页面契约稳定时，固定脚本仍然是更好的选择。当任务具有条件步骤时，网络代理的复杂性是值得的：在搜索结果中选择、发现哪个页面包含字段、比较异构布局或决定收集的证据是否符合要求。
实用模式是混合的。使用模型判断进行选择和解释，然后使用确定性代码进行 URL 验证、算术运算、模式检查、去重和权限强制。 代理搜索和工具使用架构指导 也做了相同的区分：代理负责协调，而工具则暴露具有定义输入的离散功能。

---

网络代理循环的工作原理

网络代理循环将一个开放式目标转换为可以检查和停止的序列。

1. 定义完成标准

代理在打开页面前需要一个验收测试。“研究办公椅”模糊不清。“返回五个公共产品记录，包括标题、列出的价格、材料、来源 URL，和任何缺失字段的注释”是可测试的。

2. 建立有限计划

规划者选择最小的动作集合，以产生所需的记录。它可以搜索候选页面，打开最相关的结果，并根据页面行为选择直接的 HTTP 读取或浏览器会话。

3. 通过类型化工具执行动作

每个动作都是一个结构化调用，而不是一条作文式建议。搜索工具接受查询和区域。浏览器导航工具接受 URL。提取工具返回文本、HTML、快照或声明的记录。

4. 观察并更新状态

代理记录工具返回的内容、仍然为空的字段，以及下一个计划中的动作是否仍然合理。一个同意页面、缺失的产品或客户端渲染的网格应该在不改变政策的情况下改变计划。

5. 选择恢复分支

恢复是一个新的决策，而不是盲目重复。代理可以选择不同的公共来源，从文本获取切换到渲染的浏览器、缩小选择器，或停止并报告一个所需字段不可用。

6. 验证并完成

验证者检查最终模式、URL、重复项、空值处理和证据。代理仅在验收测试通过或运行达到声明的停止条件时完成。

---

浏览器工具是执行层

浏览器工具让网络代理在用户看到的实时、渲染状态上操作。现代页面可能在初始 HTML 响应后组装内容，需要跨多个视图导航，或在用户界面操作后才显示数据。

一个有用的浏览器工具界面涵盖四个工作：

• 会话控制。 创建和关闭具有定义区域和生命周期的隔离浏览器会话。
• 导航。 打开 URL，浏览历史，等待已知页面条件。
• 观察。 阅读文本、HTML、无障碍快照、截图和可见状态。
• 交互。 点击、输入、按键和滚动，当任务需要时。

Scrapeless MCP 服务器通过一个 MCP 连接公开搜索、无状态页面捕获和持久浏览器会话工具。目前官方 Scrapeless 界面包含 21 个工具，因此一个支持 MCP 的代理可以在直接页面读取和有状态浏览器之间选择，而无需更改协议。五个 Scrapeless MCP 用例 显示了相同界面应用于多个类型站点的公共研究任务。

浏览器仍然是一个工具，而不是政策引擎。域允许列表、数据规则、确认门和输出验证属于托管应用程序，页面无法更改它们。

在免费计划中获取您的 API 密钥：app.scrapeless.com

---

状态、证据和结构化输出

状态将工具调用的序列转换为可问责的研究运行。没有状态，代理无法判断它是否已经访问过一个 URL，两个记录是否描述同一项，或哪个声明来自哪个页面。

一个紧凑的运行状态可以包含：

状态字段	目的
goal	请求的可交付成果和验收测试
policy	允许的域、读/写范围、预算和批准规则
visited_urls	去重和来源
observations	与下一个决策相关的工具输出
records	正常化输出对象
open_fields	缺失的必要值或未解决的问题
decision_log	代理为何选择或拒绝某个行动

结构化输出在离开运行之前应进行验证。如果所需记录是 {name, price, url}，则验证器应该拒绝缺少 URL 的对象，不强制任何货币值，并将不可用价格保留为 null，而不是自行创造一个。
这是网络代理对下游系统变得有用的地方。报告可以容忍散文。数据库导入、警报或评估集需要稳定的字段和明确的空值。

---

公共网络研究任务，逐步进行

一个有界的公共网络任务显示了模型判断结束和确定性控制开始的地方。考虑这个请求：

在指定城市找到三个公开上市的共享工作空间。返回场地名称、邻里、日通行证可用性、来源网址和简短的证据说明。请勿提交表单或创建账户。

执行跟踪可以看起来像这样：

阶段	代理决定	工具操作	确定性检查
范围	将请求转换为五个必要字段	无	确认仅公共页面；禁止表单
发现	搜索候选场地页面	搜索查询	仅接受 https URLs 和允许的域
检查	优先选择第一方场地页面	页面捕获	确认页面名称为场地和城市
渲染	当日通行证部分由客户端渲染时使用浏览器	创建会话，导航，阅读页面	确认最终网址和可见标题
提取	为每个场地建立一条记录	文本或 HTML 阅读	验证必需字段并规范化 null
比较	保留三个位置信息明确的场地和可用证据	无	去重规范网址和名称
完成	返回表格和证据说明	无	确认三个有效记录且没有禁止的行为

当页面缺少日通行证字段时，代理可以改变其计划，但不能改变请求的安全边界。它可以选择另一个公共场地页面。它不能提交联系表单来获取缺失的答案。

---

网络代理的安全边界

网络代理的安全性依赖于将不受信任的页面内容与受信任的指令和权限分开。页面可能包含旨在重定向代理、请求秘密或触发无关操作的文本。页面是证据；它从来不是对主机策略的权威。

在生产中使用这些控制：

• 授予最低工具集。 研究代理不需要采购、消息传递或账户管理工具。
• 分离读取和写入操作。 只读浏览可以在有界范围内运行；外部写入暂停以进行确认。
• 允许的域和协议清单。 在应用程序和网络层拒绝本地、私有、非 HTTP 或未批准的目的地。
• 保持凭据不在页面上下文中。 将秘密存储在工具实现中，只暴露任务所需的操作。
• 将页面指令视为数据。 除非用户的任务明确要求并政策允许，否则规划者不应遵循在检索内容中发现的指令。
• 记录决策和工具结果。 审核者需要 URL、操作、结果和政策决策，以便进行后续步骤。
• 在副作用之前进行验证。 主机在任何写入操作之前检查接收者、金额、目的地和有效负载。

NIST 生成 AI 风险概况 框架涵盖整个系统生命周期的风险管理，而 OWASP 提示注入指导 涵盖了可以从检索内容传递到模型控制工作流程的直接和间接指令。

---

网络代理最适合的领域

网络代理适合那些以目标为导向、基于证据且变动性足够大的任务，因为固定路径的维护成本很高。

强有力的用例包括：

• 跨具有不同布局的页面进行公共市场和产品研究；
• 具有来源网址和版本检查的实时文档研究；
• 遵循书面测试章程的网站质量保证；
• 结构化监测公共可用性、定价或政策页面；
• 限于公共商业信息的多页面线索研究；
• 收集证据供最终决策的人类分析师参考。

不适合的领域包括不可逆交易、无监督帐户更改、基于单个页面的高风险决策以及需要访问私有或限制数据的任务。这些工作流需要比一般网络代理携带的更强的身份、授权、人类审查和领域特定控制。

---

结论：围绕浏览器构建控制平面

网络代理是一个连接到实时工具、状态、验证和政策的规划者。模型选择行动；已输入的工具执行这些行动；浏览器揭示呈现的状态；确定性检查决定交付物是否完整。

准备好构建带有实时浏览器工具的网络代理了吗？

加入我们的社区以索取免费计划，并与开发带有边界网络代理工作流的开发人员联系：Discord · Telegram。

在 app.scrapeless.com 注册以获取免费的抓取浏览器运行时，并为您的代理提供实时搜索、页面捕获和浏览器会话工具，而无需操作本地浏览器基础设施。

---

常见问题

问：简单来说，什么是网络代理？

网络代理是一个可以通过工具在实时网站上规划和执行有限任务的人工智能系统。它观察每个结果，更新其状态，并返回经过检查的输出，而不仅仅是从现有上下文中生成答案。

问：网络代理与浏览器自动化脚本有什么不同？

浏览器自动化脚本遵循事先编写的路径，而网络代理可以根据页面证据选择允许的操作。固定脚本更适合稳定的流程；代理在发现和条件决策是任务一部分时更有用。

问：网络代理需要浏览器吗？

当所需内容或操作仅存在于渲染页面状态时，网络代理需要浏览器。搜索和直接页面捕获工具对于简单读取更便宜，因此规划者应选择满足验收测试的最轻工具。

问：MCP在网络代理中的作用是什么？

MCP为主机提供了一种标准方式来发现和调用类型化工具。该协议将代理连接到诸如搜索、页面捕获和浏览器控制等功能，同时主机保留权限和批准逻辑。

问：如何防止网络代理采取不安全的行动？

默认情况下保持代理为只读，仅公开必要的工具，允许白名单目标，隔离凭证，验证每个外部写入，并要求对重要操作进行人工批准。检索的页面内容必须保持不受信任的数据。