什么是代理 AI？

无刮擦 AI 代理和代理浏览器为有限的代理 AI 工作流提供结果规划和受控的网络执行。

为什么这个主题重要

代理 AI 指的是通过有限的逐步指令，依靠一系列决策和行动来追求目标的系统。 NIST 代理 AI 程序 从自主代理的角度描述代理 AI，这些代理做出决策、从互动中学习、并适应不断变化的环境。在实际软件中，自主程度各异：一个代理可能在三个研究工具中选择，而另一个可能需要在人类批准的重要边界处协调长流程。

标签应该描述行为，而不是营销。一个产生单一响应的聊天机器人是生成 AI，但不一定是代理性。一个代理系统保持状态，选择工具，观察结果，修订计划，并决定何时停止或移交。这些能力来自整个应用架构，而不是模型自身的隐藏属性。

代理控制循环

循环开始于以任务合同表达的目标。合同定义成功、约束、允许的资源、证据和升级规则。规划者将该合同转化为下一个行动，而不是完整的不变脚本。工具执行该行动，产生的观察改变系统状态。然后评估者确定目标是否完成、是否需要进一步步骤，或某人是否必须进行干预。

工具将生成的决策转换为外部效果。 OpenAI 函数调用文档 记录了模型面对的结构：一个应用程序提供工具定义，模型可以返回结构化调用，应用代码执行操作。该模式允许在执行前进行验证。它还将凭据、网络访问和不可逆转的操作排除在模型的直接控制之外。

代理系统中的记忆有多种含义。工作状态包含当前计划和观察。情节记录保留早期运行中发生的事情。语义记忆存储可重用的事实或文档。这些存储应有明确的所有权、保留和检索规则。无限期保存每个模型消息并不是一种记忆策略。

代理系统的组成部分

• 任务合同。 定义目标、可接受的输出、允许的行为、证据、限制和升级条件。
• 规划者。 从当前状态选择下一个有限步骤，而不是提前预测整个执行路径。
• 工具。 通过验证的架构暴露搜索、浏览器、数据库、代码、消息或业务操作。
• 状态和记忆。 跟踪观察、已完成的工作、待决决策、来源和批准的可重用上下文。
• 评估者。 根据确定性规则、基于模型的判断或人工审核检查进展和输出。

工作流自动化与代理 AI

许多任务作为传统自动化工作得更好。仅在无法可靠规定路线的地方添加代理选择。

构建具有清晰边界的代理工作流

从成果和权威模型开始，然后选择处理真正不确定性的最小代理表面。

1. 写一个可测量的目标。 定义可交付成果、质量检查、截止日期以及什么算作不完整或不安全。
2. 设计一个最小的工具集。 仅暴露任务所需的操作，使用狭窄的模式和只读默认值。
3. 明确表示状态。 将当前目标、计划、观察、源证据、预算和批准存储在结构化字段中。
4. 在每个重要步骤后进行评估。 在另一个工具调用扩展成本或外部影响之前，检查进度、政策和输出有效性。
5. 计划交接。 给操作员提供当前状态、证据、建议的行动和升级理由，而不是含糊的失败消息。

评估代理行为

该 NIST人工智能风险管理框架 支持对风险的生命周期视图。对于代理，测量应涵盖最终结果和达到结果所采取的路径。

• 结果成功。 系统是否满足任务合同和质量检查？
• 路径效率。 消耗了多少工具调用、模型轮次和外部资源？
• 政策合规。 每个行动是否保持在域、凭证、预算和批准边界内？
• 恢复质量。 代理是否识别到没有进展，保持状态，并以有用的证据交接？
• 追踪完整性。 审查员能否重建观察、决策、工具结果和最终输出？

代理人工智能风险

更大的自主权增加了原始提示和后续行动之间的距离。随着这种距离和潜在影响的增长，控制应变得更强。

• 目标漂移。 中间推理可能会追求一个合理的次要目标。在重大观察后重新检查任务合同。
• 工具误用。 有效工具可能会在不安全的参数或错误的顺序下被调用。在模型外部验证权限和前提条件。
• 循环。 系统可以重复搜索或行动模式而没有获得证据。跟踪进展并执行步骤预算。
• 记忆污染。 不受信任或过时的观察可能会影响后续运行。标记来源、所有者、时间和信任级别。
• 自动化偏见。 人们可能在没有检查源支持或行动权限的情况下接受一个看起来完整的追踪。

适合代理人工智能的良好匹配

从试点到生产

一个有用的代理人工智能试点应该足够小，以便逐条检查记录。开始于 写一个可衡量的目标：定义可交付成果、质量检查、截止日期，以及什么算作不完整或不安全。然后应用 设计一套最小的工具：仅暴露任务所需的操作，使用狭窄的模式和只读默认值。保持第一个评估集故意混合，包括普通案例、模棱两可的案例、缺失证据，以及系统必须拒绝或转交的行动。这揭示了工作流是否在较高的工作量掩盖设计错误之前理解其边界。

生产准备需要每个度量和工件都有一个所有者。跟踪 结果成功 以回答系统是否满足任务合同和质量检查？跟踪 路径效率 以确定消耗了多少工具调用、模型转换和外部资源？添加 政策合规 以便团队能够看到每个行动是否保持在领域、凭证、预算和审批边界内。这些措施应链接到基础记录，而不仅仅存在于仪表盘总计中。审评人需要从一个变化的度量移动到产生该度量的确切查询、来源、观察或行动。

操作控制应针对最可能改变商业决策的失败模式。第一个审查规则应涵盖 目标漂移：中间推理可以追求一个合理的旁边目标。在主要观察后重新检查任务合同。退出审查应涵盖 自动化偏见：人们可能在没有检查源支持或行动权限的情况下接受一个看起来完整的追踪。指定一个响应所有者，定义什么证据能解决问题，并记录结果是否改变了数据、提示、工具、权限或来源政策。该记录可以防止同样的缺陷被重新发现为无法解释的质量波动。

仅在试点行为可预测后扩展。团队可以从开放式研究开始，其任务是动态选择搜索和来源，同时保留证据链。第二阶段可以添加可变浏览器工作流，在其中工作流必须导航其路径依赖于呈现状态和允许的用户上下文。随着范围的增长，保持原始测试集运行。新来源、市场、工具和权限应一次引入一个边界，以便回归可以分配到特定变化而不是同时的平台重写。

结论

代理人工智能是一种围绕目标、工具、状态、反馈和有限自主权构建的应用模式。模型提供灵活的规划，而周围系统提供执行、证据、权限和停止规则。消除这些边界并不会创建一个更好的代理；它会创建一个无政府的代理。

在稳定路径中使用常规自动化，并在不确定决策中引入代理选择。这保持工作流可测试，同时保留使代理有用的适应性。