什么是 Chain of Thought?推理、证据与局限

什么是 Chain of Thought?

Scrapeless MCP Server 提供网页采集工具,可以为智能体的推理流程提供外部观测。

Chain of thought 指的是在产生答案过程中使用的中间推理步骤。在提示研究中,通过示例或指令鼓励语言模型在得出结论前生成中间步骤。在已部署系统中,推理也可能在内部发生,且不会以完整记录的形式暴露出来。

可见的解释和内部计算是不同的对象。清晰的解释可以帮助读者评估假设,但其流畅性并不能证明它忠实地描述了答案的全部成因。对于实用系统,应当评估最终结果、证据,以及任何可外部校验的操作。当有助于复核时,请求简明的理由和支撑计算。

Chain-of-Thought 提示引入了什么?

Chain-of-thought 提示通过中间推理示例,引导模型通过若干相关步骤来解决问题。该 original chain-of-thought prompting research 在推理基准上考察了这种方法。其结论适用于研究中设定的场景,不应被解读为对所有模型或任务的保证。

一个基础的直接回答式提示只要求结论本身。面向推理的示例可以展示如何识别相关量、应用关系并得出结果。重要的区别在于中间结构,而不是回答的长度。给事实查询强行添加长篇解释会增加成本、分散对来源的注意力,却未必带来有用的核查价值。

解释与隐藏推理有何不同?

解释是面向用户、说明答案依据的内容;隐藏推理则是模型内部处理过程,由实现决定是否以及如何暴露。某个服务可能返回摘要、简短理由,或仅仅返回最终答案。除非服务明确如此定义,否则不应将这些呈现视为完整的推理轨迹。

对于一个应用,要明确审查者真正需要什么:假设、证据、计算、不确定性以及最终结论。这些产物可以被直接评估。若只是要检查检索到的段落是否支持一个说法,或某个计算是否正确,则无需请求逐字的私人推理记录。带有明确输入的简洁推导,往往比数页无结构的叙述更易于复核。

工件它有助于审查的内容重要局限
最终答案任务是否被正确回答可能遗漏未被支持的假设
简明理由证据、假设和计算可能未反映每一个内部影响因素
工具观测外部系统返回的内容来源可能不完整或有误
评估结果在定义用例上的表现不能证明普遍可靠性

为什么具有说服力的推理轨迹仍可能是错的?

推理轨迹可能包含无依据的假设、算术错误、不相干的步骤,或对一个其实受其他线索影响的答案给出貌似合理的解释。相关 research on unfaithful explanations 表明,生成的推理可能会遗漏对模型答案产生影响的因素。因此,即便语言流畅,也仍需要独立校验。

考虑一个假设的运费问题,其中模型假定所有目的地都使用同一服务等级。随后的计算在内部可能是一致的,却在回答错误的问题。审查时应先检查这一假设,再接受其算术结果。再详细的文字也无法弥补缺失的输入。将前提与操作区分开来,并分别根据任务和可用证据进行核实。

任务拆解在何时有帮助?

当答案依赖于可以分别检查或解决的不同子问题时,任务拆解会有帮助。例如比较需求、调和相互矛盾的记录,以及根据多个输入计算结果。一个有用的拆解会点名所需信息,并界定任务在何种条件下算是完成。

对于一个假设的产品比较,系统可以先识别所需能力,为每项能力收集当前证据,并应用明确的选择标准。这样可以产出可审查的中间工件,而无需私人思维记录。当答案只是简单查找且来源已经很清楚时,拆解的作用就较小。应根据能否提高正确性或可审查性来选择回答形式,而不是将“逐步思考”作为通用指令一概套用。

工具如何增加可验证证据?

工具可以返回外部观测结果,供智能体用来核查某个断言或选择下一步动作。其中 ReAct research 在交互式任务中结合推理与行动,展示了观测如何影响后续决策。工具输出仍然需要解释,并且要清晰划分数据与指令的边界。

The Scrapeless MCP 服务器 提供网站采集能力,而由智能体应用决定要请求哪些来源以及如何评估其相关性。保留返回的页面或记录及其来源。成功抓取仅能证明内容已被获取;它不能证明内容是准确、完整、最新的,或足以支撑你的回答。

有用的答案论证应该包含什么?

有用的论证会给出结论、支持结论的证据,以及任何会实质性影响结果的假设。在任务需要时,包含可在外部核查的计算。当解释不确定性时,应说明缺失的证据或事实冲突,而不是用自信的文案去填补空白。

例如,一个假设的文档助手可能会回答:某个功能在指定配置中不可用,引述相关限制条款,并指出由哪个配置字段来决定适用性。这是一种简洁、基于证据的解释。它不应声称可以访问模型完整的私有推理过程。这个 具备能动性的网页检索工作流 为区分收集到的观察内容与基于这些内容生成的回答提供了有用的背景。

应如何评估推理质量?

通过任务结果和可核查的中间产物来评估推理质量。对于计算题,核查输入、单位、运算过程和结果。对于基于信息来源的回答,检查被引用的段落是否支持每一条实质性陈述。对于智能体动作,检查所选动作是否匹配被授权的任务和观测到的状态。

要将信息缺失和具有误导性的上下文也视为问题。一个可靠的系统应能识别自己何时无法支撑某个结论。在相同任务和证据上比较不同提示词版本,并检查退化情况,而不是只报告总体成功率。解释的篇幅不能代替准确性。能正确表达不确定性的回答,可能优于建立在虚构前提上的详细推导。

推理、检索和记忆如何协同运作?

推理用于组织决策,检索提供相关的外部信息,记忆则保存状态以备后用。它们可以协同工作,但彼此不能相互替代。模型可能会在过期记忆上进行仔细推理,或检索到相关段落却未得出正确结论。

在应用记录中保持它们各自的职责可见。存储被检索的是哪个来源版本,在最终回答中使用了哪些事实,以及哪些状态需要持久化。避免仅因为某个推测性的论证出现在一次成功任务中,就把它当作已确认的事实保存下来。未来的智能体应获得已验证的结论及其适用范围,而原始证据在环境变化时仍应可被审查。

团队如何将规划与执行权限分离?

一个计划可以识别有用的步骤,而不自动获得执行这些步骤的权限。智能体可能推理出某个公开页面应当更新,但应用仍需判断编辑该页面是否属于用户被授权的任务。将关于“是否有用”的推理与控制行动的权限机制分离开来。

在一个假设的审计场景中,请求的输出可能是一份与证据关联的问题清单。智能体可以收集相关页面、比对事实并提出修正建议。它不应将自己认为“修正显而易见”的结论当作立即发布的授权。如果用户已经授权更新,这个计划就可以指导具体工作,而应用记录实际的变更与结果。

这种分离也有助于测试。评估拟议计划是否解决了任务、所选工具是否符合可用证据,以及每个已执行动作是否具有所需的权限范围。再有说服力的论证,也不能为未授权的更改或伪造的工具结果开脱。可复审的推理只有在它支持了工作流边界内的准确决策,并在外部系统上验证了实际结果时,才是有用的。

结论

chain of thought 作为一个研究与提示设计概念是有用的,但应用需要的是可评估的证据。请求那些有来源支持、假设明确、计算可核查的结论。测试最终行为,并保留支撑它的外部观察。只有当解释中的主张经受住这些检验时,一份有说服力的说明才真正具有价值。

对于基于浏览器的证据采集,可考虑 Scrapeless Agent Browser 并根据相关的获取工作量评估 Scrapeless pricing.

让智能体决策立足于观察

提供外部网页观察结果,并评估你的智能体从中得出的结论。

立即注册即可获得 $5 in free credit — 无需信用卡.

领取你的 $5 额度 →

FAQ

chain of thought 与推理是同一回事吗?

chain of thought 是描述或引出中间推理步骤的一种方式。推理的范围更广,可以涉及内部处理、外部工具、结构化计算以及其他方法。可见的过程痕迹并不是有用推理的唯一证据。

每一个提示都应该要求模型逐步思考吗?

并非每个提示都需要相同的推理指令。在能增加可核查结构时使用任务分解,对简单请求则使用直接指令。应在具有代表性的任务上评估提示,而不是假定某个短语能提升所有模型的表现。

详尽的解释是否能证明答案正确?

详尽的解释并不能证明正确性。需要分别检查假设、证据、计算以及最终结果。一个看似合理的叙述,可能忽略重要影响因素,或为错误结论辩解。

应用应请求什么,而不是请求私有推理?

在有用的情况下,应用程序应请求简明的论证理由、相关假设、来源引用以及可核查的计算过程。这些输出支持审核,而无需完整的私有推理记录。在选择响应格式之前,应先为该任务定义预期证据。

参考文献