什么是浏览器代理？

无刮擦抓取浏览器提供受管理的浏览器会话，浏览器代理可以通过标准自动化和面向代理的界面进行控制。

浏览器代理的定义

浏览器代理是一个软件系统，使用浏览器作为行动环境。给定一个目标，它观察当前网页，推理下一步，调用浏览器操作，并检查结果。循环继续，直到任务完成、无法继续或达到政策边界。代理可以搜索、导航、点击、输入、滚动、提取信息、下载文件或请求某人批准敏感步骤。

浏览器代理比具有浏览按钮的聊天模型更广泛。该模型提出决策，而周围的应用程序控制工具、凭证、内存、网络访问、允许的域、预算、日志记录和批准。 WebArena研究 描述现实的、可复现的网络任务，并评估功能完成，这比生成的计划听起来是否合理更好地定义了代理性能。

浏览器代理也与搜索系统不同。搜索检索候选信息。浏览器代理可以跟随结果，呈现目标，互动页面状态，并在多个站点收集证据。搜索可能是代理内部的一个工具，但搜索并不能提供完整的控制循环。相同的区分适用于提取器：提取器从页面读取数据，而代理决定下一个应该是哪一页和哪个动作。

这个术语与网络代理、计算机使用代理和浏览器自动化代理重叠。网络代理可以在不打开可视浏览器的情况下调用HTTP API。计算机使用代理可以控制超出网络的桌面应用程序。浏览器代理通过其操作环境定义：浏览器标签、导航历史、页面内容、浏览器存储、下载和网络交互。

浏览器代理是如何工作的

该循环以一个目标和一个有限的任务状态开始。“找到三个官方规格并总结它们并附上链接”提供了输出形状和证据要求。“研究这个主题”没有自然的结束，鼓励开放式浏览。良好的编排将目标转化为接受标准，限制可到达的域或动作类型，并记录哪些证据必须保留到最终答案中。

观察将复杂页面转换为模型可读的证据。一个视觉代理可能接收像素和标记控件。一个语义代理可能接收可访问的角色、名称、DOM文本和元素引用。一个面向数据的代理可能检查网络响应或结构化页面元数据。 W3C WebDriver规范 说明了浏览器自动化使用的命令模型，而现代代理堆栈通常将协议级控制与更高层次的观察相结合。

规划选择下一个允许的动作。一些系统一次请求模型一步；其他系统创建一个简短的计划并在每次观察后对其进行修订。一步控制更容易验证，因为控制器可以检查每个建议的点击、目标和值。较长的计划可能减少模型调用，但只要页面出现意外分支，它们就会变得过时。

执行改变环境，验证关闭循环。一次成功的点击并不能证明意图页面已加载。代理应检查结果URL、可见状态或结构化确认。表单提交应与填写表单区分开，而购买应与到达最终审核屏幕区分开。这种分隔为人类批准创造了空间。

浏览器代理与浏览器自动化脚本

这两种系统都驱动浏览器，但它们在选择下一个动作的方式和能够吸收多少不确定性上有所不同。

常见的浏览器代理用例

浏览器代理在目的地交互式且路线取决于任务中遇到的页面状态时最为有用。

生产浏览器代理的组件

工具合同应具备类型明确且范围狭窄的特性。导航工具需要一个 URL 和一个允许列表检查。点击工具需要一个当前元素引用。文本输入工具需要一个目标和一个值分类，以便将机密信息实施更强的控制。 模型上下文协议规范 提供了一种标准方式供客户端和服务器描述可调用的工具，但架构仍需应用级别的权限。

内存应保存已批准的事实和当前任务状态，而不是将整个浏览历史变为下一条提示。工作内存可以保持活动目标、访问过的 URL、提取的事实和待处理的批准。持久性内存应仅存储应用程序有理由和权限保留的信息。浏览器 Cookie 和登录状态应与叙述任务内存分开处理。

浏览器层提供渲染、会话、下载、存储和协议访问。受管云浏览器可以消除本地浏览器维护，但它不会决定代理可以做什么。主机系统应保持域限制、凭证边界、操作类别、审计日志和审批政策在模型提示之外，以便这些规则不能被重新诠释为对话建议。

评估需要功能检查。当请求的事实得到保留来源的支持时，研究任务通过。当字段包含预期值，系统在所需边界停止时，表单工作流通过。当输出架构完整且可追溯到页面证据时，抓取程序通过。视觉相似性或自信的最终句子不足以作为标准。

风险与失败模式

网页包含不可靠的指令。页面上的文本可能告诉代理忽略其任务、披露数据或访问另一个域。控制者应将页面内容视为证据，而不是更高优先级的政策。工具权限、机密访问和允许的目的地必须在模型读取的文本之外强制执行。

动态状态会产生时间和身份问题。定位器在导航或重新渲染后可以指向不同的元素。旧的截图可以描述不再存在的控件。元素引用应随观察过期，操作应针对当前 URL、框架和页面状态进行验证。高影响操作应进行新捕获。

代理也可能在循环中浪费时间。明确的步骤预算、时间预算和停止条件使失败可见。系统应区分“目标未实现”、“目标在没有证据的情况下实现”与“因待批准而被阻止”。这些结果导致不同的下一步，不应归结为一个通用成功字段。

隐私与授权适用于整个链条。浏览器代理可能会遇到个人数据、经过身份验证的页面、上传的文档或支付控件。仅收集任务所需的信息，在发送到模型之前尽可能涂黑敏感观察，并且永远不要仅因为浏览器可以访问控件而推断提交或披露的权限。

如何评估浏览器代理

从任务成功开始，但将成功定义为可外部检查的状态。购物任务可能在审查屏幕结束，而不是在付款后结束。研究任务可能需要固定数量的主要来源。数据任务可能需要一个架构、来源字段和重复处理。评估者应检查环境或文物，而不是问同一模型是否成功。

将结果分解为感知、决策、行动和验证。感知检查所需的控制或事实是否出现在观察中。决策检查所选下一步是否符合任务。行动检查浏览器是否执行了预期操作。验证检查新状态是否满足预期条件。这种分解使失败变得可操作。

也要衡量成本和监督。计算浏览器步骤、模型调用、墙壁时间、重复观察、人类批准和未解决状态。一个通过许多不必要操作完成任务的系统，可能不如一个简短脚本适合。一个在清晰边界请求批准的系统，可能比一个追求最大自主权的系统更安全和更易用。

使用可重复的测试站点和有限的实时站点检查。可重复的环境使回归对比可能。实时站点揭示布局变化、身份验证边界和真实的渲染行为，但它们的状态会随时间而变化。存储任务定义、视口、本地化、模型、工具版本和解释每个结果所需的证据。

结论

浏览器代理是一个受控循环，将网络观察转化为浏览器操作。它的价值来自于适应页面状态并协调搜索、导航、交互和跨多步骤目标的提取。该模型提供推理，而应用程序提供工具、记忆、政策和验证。

可靠的浏览器代理使不确定性可见。它们保留证据、过期陈旧的引用、限制操作，并在进行重大更改之前停止进行审批。该设计比代理能够在没有帮助的情况下执行的点击次数更重要。