什么是AI中的幻觉？
无刮擦抓取浏览器为AI系统提供的当下网页内容，可以作为需要事实支持的回复时的证据。
TL;DR
- AI幻觉是一种没有支持、准确或与可用证据不一致的自信输出。 即使基本说法是错误的，措辞听起来也可能很高雅。
- 幻觉是一种系统行为，而不是模型具有意图或意识的证据。 语言模型生成可能的标记序列，而不是咨询保证事实的内部数据库。
- 基础控制降低了风险，但不保证真实性。 检索的段落可能过时、无关或误读，因此证据质量和答案验证仍然重要。
- 检测必须将说法与来源进行对照。 流畅性、长度和自信是弱信号，因为正确和错误的答案可能具有相同的语气。
- 高影响力的工作流需要放弃和审查路径。 系统应在证据缺失时说明，并将重要决策引导至合格的人。
定义AI中的幻觉
AI中的幻觉是生成的内容，将一个声明、引用、事件、计算或关系呈现为真实，尽管该声明没有可靠证据支持。该错误可能与提供的文档相矛盾、偏离普遍建立的事实，或添加没有来源包含的细节。OpenAI将该行为描述为输出在其 关于模型真实性的指导中.
不准确的事实。这个术语是一个有用的简写，但它可能会引入错误的心理模型。语言模型通常不会检索完整事实然后决定更改它。它根据提示、学习的参数和推理时提供的任何上下文来估算继续。产生清晰解释的相同机制也可以在提示强烈暗示应该存在一个时产生可信的名字、日期、引用或URL。
幻觉的范围从小错误到完全编造的叙述。摘要可能保持整体意义，但将错误的数字分配给来源。研究答案可能引用一个从未出版的具有可信标题的论文。支持助手可能编造一个账户政策。共同特征不是错误的大小，而是说法与可用证据支持之间的差距。
为什么AI模型会出现幻觉
AI模型出现幻觉是因为下一个标记预测奖励合理的延续，而事实的不确定性并不总是以可见的“未知”形式表示。训练数据还包含矛盾、过时的段落、不完整的记录、讽刺和重复的错误。即使是干净的训练语料库也无法包括每一个私人文件、最近的事件或用户可能询问的狭窄领域规则。
提示形状很重要。一个假设错误事件的问题可能会引导模型完成所请求的故事，而不是挑战该前提。长时间的对话可能掩盖相关约束。当搜索结果偏离主题、解析器移除上下文或检索文本以不同的含义使用相同术语时，工具输出也可能引入错误。
后训练可以改善拒绝、校准和遵循指令，但没有任何训练方法可以将开放式生成转变为一个完全可靠的数据库。 OpenAI关于语言模型幻觉的研究论文 将问题与评估激励联系起来，这些激励奖励猜测而不是承认不确定性。这个观察解释了为什么放弃必须被设计和测量，而不仅仅是在提示中请求。
AI幻觉的常见类型
| 类型 | 发生了什么 | 典型信号 |
|---|---|---|
| 事实伪造 | 答案编造一个实体、事件、数字或关系。 | 该说法无法在权威来源中找到。 |
| 引用伪造 | 一个标题、作者、URL或引用被创建或不匹配。 | 引用的项目缺失或不支持该句子。 |
| 来源矛盾 | 回复与提示或检索上下文中提供的文本相冲突。 | 直接比较揭示了不支持的补充。 |
| 指令漂移 | 模型停止遵循约束，而是完成一个熟悉的模式。 | 输出改变了范围、格式或决策标准。 |
| 推理错误 | 前提可能是正确的，但推理、计算或比较失败。 | 重新计算中间步骤将改变结果。 |
这些类别是重叠的。伪造的引用也可能支持推理错误，而过时的事实在出现当前文档时可能成为来源矛盾。分类仍然很有用，因为每种失败都需要不同的控制。引用检查不能捕捉错误的算术，而计算器不能揭示该来源本身是过时的。
如何检测幻觉输出
将答案分解为主张
单独标记每个可验证的陈述。包含一个错误细节的段落不应通过，因为其更广泛的主题听起来合理。
将主张与证据匹配
要求提供支持同一主题、时间段、范围和单位的源段落。仅靠关键词重叠不足以提供支持。
独立检查计算
使用确定性代码或计算器重新计算总数、转换、排名和比较，而不是要求相同的模型自行评分。
探讨不确定性
询问缺失的证据是什么，哪些假设驱动结果，以及什么会改变答案。稳定的系统揭示边界而不是隐藏它们。
最强的评估使用已知问题和记录的预期答案。对于模糊的主张，人工审查仍然是必要的，但可重复的测试集揭示提示、模型、检索变化或新数据源是否改善了系统。 NIST AI风险管理框架 提供了一个更广泛的结构来映射、测量和管理风险，而不是将一个模型评分视为安全的证明。
基础如何降低幻觉风险
基础通过将相关的、可检查的证据放置在模型的工作上下文中，并要求响应保持在该证据范围内，从而降低幻觉风险。检索增强生成是一种常见的设计：收集文档，将其拆分为可搜索的单位，检索与问题匹配的单位，并生成包含引用或引用支持的答案。
当问题涉及变化的页面、当前产品信息、公共通知或最近研究时，新的网络证据是有用的。带有浏览器支持的收集层可以在提取之前呈现JavaScript页面，同时应用程序存储页面URL、捕获时间和用于答案的文本。Scrapeless Scraping Browser可以提供该收集层；模型和验证政策仍然是系统的独立部分。
当检索失败时，基础就会失败。索引可能会遗漏相关文档，语义搜索可能返回相邻概念，或一个长块可能包含矛盾的段落。一个安全的管道在生成之前检查源身份、文档年龄、访问范围和检索相关性。它还保留链接，以便审查者可以检查原始材料，而不是信任脱节的摘录。原始 检索增强生成研究 将检索和生成视为一个系统的关联部分。
实用的幻觉控制工作流程
实用的控制工作流程在提示到达模型之前开始。定义应用程序可以做出的主张、哪些来源是权威的以及哪些决策需要人工批准。然后收集带有源元数据的证据，进行狭窄的检索，指示模型引用支持，并在输出到达用户之前验证输出。
- 根据风险和新鲜度对请求进行分类。医学、法律、财务、安全和账户决策需要比头脑风暴更严格的控制。
- 从批准的来源获取当前或特定领域的证据。保留规范URL，并捕获足够的周围文本以保持含义完整。
- 使用语义相关性和元数据过滤器（如日期、管辖权、产品或文档版本）同时检索证据。
- 生成带有边界的指令：根据提供的证据回答，识别冲突，并在缺乏支持时弃权。
- 在可能的情况下，用确定性的检查验证引用、数量、名称和所需约束。
- 记录问题、检索到的证据、答案和审查结果，以便反复出现的失败模式成为测试案例。
该过程将幻觉视为具有可观察阶段的工程风险。它不承诺零错误。它使不支持的主张更易于预防、发现、调查和更正。
幻觉缓解的局限性
没有单一的控制措施可以消除幻觉。较长的提示可以添加证据，但也会引入干扰。更多检索的文档可以提高回忆率，同时降低精确度。即使引用指向薄弱来源，引用也可能看起来令人放心。第二个模型可以捕捉一些错误，但也可能重复相同的误解，因为两个系统学会了相似的模式。
团队应衡量对其应用程序重要的失败：不支持主张率、引用准确性、放弃质量、更正时间或在采取行动之前审核的高风险答案的比例。一个礼貌地拒绝每个问题的系统可能在事实性上得分良好，但未能满足其用户。一个有用的目标在支持覆盖面和在证据薄弱时的保守行为之间取得平衡。
结论
人工智能中的幻觉是产生不支持输出的问题，而不是语气问题。答案可能在流畅、详细和错误之间同时存在。可靠的系统将生成与证据获取分开，在正确的层面上测试主张，揭示不确定性，并让人们控制重大决策。与当前来源的基础减少风险，而引用检查和特定应用评估则展示控制是否真正有效。
准备构建一个基础的AI工作流程吗？
将当前公共网络内容连接到检索和代理工作流程，与受管理的浏览器层一起。
今天注册，获得 5美元的免费信用额度 — 无需信用卡.
领取您的5美元信用额度→常见问题
AI幻觉是谎言吗？
不。谎言意味着有欺骗的意图，而AI幻觉描述的是不支持的生成内容。语言模型不需要意图来产生虚假的主张。更安全的工程响应是将输出与证据核实，并设计系统在缺乏证据时弃权。
检索增强生成能否消除幻觉？
不，检索增强生成可以通过提供相关证据来减少不支持的答案，但检索可能会错过正确的来源或返回误导性的上下文。系统仍然需要源检查、引用验证、冲突处理，以及对于检索材料无法回答的问题的明确回应。
用户如何发现虚幻的引用？
打开引用，检查标题、作者、出版物和引用的声明是否一致。一个真实的URL还不够，因为该页面可能讨论一个相关的话题而不支持句子。搜索源以找到答案中的确切主题、时间范围和使用的数字。
一个自信的回答是否意味着模型是确定的？
不是。自信的措辞是生成的风格，而不是声称为真的经过校准的概率。一些系统可以公开信心估计或引用，但用户仍然应该判断证据的质量以及依赖答案的后果。
人类何时应该审核AI的回答？
当答案可能影响健康、法律权利、金钱、安全、就业、访问或其他人时，人类审查是合适的。当来源存在分歧，当请求依赖近期事件，或者系统无法为关键声明提供直接支持时，审查也是有用的。