什么是大型语言模型中的温度？

Scrapeless Agent Browser 为网页自动化提供云端浏览器。

在大型语言模型中，temperature 是一种解码参数，用于在抽样下一个 token 时调整相对概率。较低的正值会将概率集中在得分更高的候选项上。较高的取值会使分布变得更平坦，从而使得不太可能的候选项被更频繁地选中。Temperature 只会改变选择行为，并不会为模型增加新的知识。

在配置生产环境助手时，这一区别就很重要。更加多样的措辞有助于头脑风暴，而一致的格式对抽取任务可能更重要。这两个目标都无法简化为一个通用的最优数值。应通过对你实际使用的模型、提示词和任务进行评估来选择设置。

温度如何改变 Token 概率

在计算采样分布之前，temperature 会对 token 分数进行重新缩放。在常见的形式中，每个候选的 logit 会被一个正的 temperature 相除，然后结果再传入 softmax。当取值为 1 时，temperature 不会重新缩放 logits。小于 1 的取值会放大已有的分数差异；大于 1 的取值则会削弱它们的相对影响。

想象一个假设的下一个 token 选择场景，其中一个候选 token 的得分高于另一个。降低温度会增加得分更高的 token 的相对优势。它不会引入证据检查，也不会判断该 token 是否真实。这个机制作用于模型预测的续写上，而这种续写可能会偏向于自信但缺乏支撑的陈述。

请提供需要从英文翻译为中文的具体文本。 神经文本解码研究 区分训练目标与生成行为，并探讨为何解码选择会影响文本质量。对应用设计而言，有用的结论很简单：评估完整输出。一次词元级别的改动就可能改变后续句子、工具选择或停止决策，而这些影响是单个示例无法揭示的。

低温能做到和做不到的事

低温通常通过偏向更可能的续写来减少采样变化。这在任务需要稳定标签、精炼抽取或一致措辞时很有用。它仍然是一种概率生成设置，而非正确性的保证，其效果取决于模型及服务系统如何实现解码。

暴露为零的数值通常被视为一种特殊的解码情况，而不是字面意义上的被零除。在依赖这种行为之前，请检查所选模型的接口。即使是贪婪选择策略，也不应被描述为在所有部署条件下都保证输出完全相同。模型更新和服务细节会在可见采样控制之外独立影响可复现性。

对于一个假设的产品抽取任务，较低的设置可能会使输出格式更稳定，但同时反复返回错误的货币。纠正方法是改进证据处理和验证。进一步降低 temperature 不能提供输入中省略的货币。对缺失值应保持显式，而不是鼓励模型根据预期来补全它们。

为什么更高的温度并不能保证创造力

更高的温度会增加选择低概率续写的机会，从而产生更丰富多样的输出。这种多样性有助于探索名称、替代表达方式或可能的解读。但它也可能带来不相关或不一致的文本。在评估某个设置是否改进了“多样性”之前，先明确什么样的变化对你来说才是有用的。

一次头脑风暴式评估可能会奖励那些在满足约束条件的前提下有着实质性差异的想法。一次事实性总结评估则可能会惩罚那些缺乏支撑论据的论断，即便其文字表述很吸引人。这类任务需要不同的评分细则。仅仅统计出现了多少个独特单词，是对评估输出是否有用的一种很弱的替代做法。

研究关于 温度与问题解决绩效 发现的是与任务和模型相关的行为，而非普适的准确性法则。避免将较低的温度视为“真实性设置”，或将较高的温度视为“智能性设置”。评估你真正关心的实际行为，并保留做出选择的证据。

温度与 Top-p 及其他控制参数

Temperature 会重新缩放相对分数，而 top-p 则会将采样限制在一组累积概率达到某个阈值的 token 上。这些控制项影响的是选择过程中的不同部分。它们的组合行为取决于模型接口所实现的顺序和具体细节。

输出长度限制针对的是另一个问题：可以生成多少文本。格式约束规定了可接受的输出结构。系统指令描述了期望的行为。改变其中一个控制并不会让其他控制变得多余。低温度的回复仍然可能过长、对下游解析器无效、或不被来源支持。

在诊断问题时，一次只更改一个控制变量。如果你同时重写提示词、替换检索到的材料并更改采样方式，那么即使结果有所改善，也无法判断是哪一项干预起了作用。为每次评估记录输入、模型标识、设置和评分决策，这样比较结果才具有可解释性。

选择具有可重复评估的设置

温度选择应从一个针对任务的评估集和一份可接受行为的定义开始。包括普通请求以及困难情形，例如含糊不清的输入、缺失的证据、相互冲突的来源和异常冗长的文档。在候选设置之间保持相同的评估输入。

在每种设置下运行多次请求，并检查质量和变化情况。重复采样可以揭示一次成功回答所掩盖的不稳定性。根据决策的成本和观察到的波动程度来设定运行次数，而不是给出一个武断的通用要求。在记录中保留失败示例；将它们过滤掉会让该设置看起来比实际更强。

对于结构化抽取，要分别评分字段准确率、缺失值处理和输出有效性。对于写作，要评估对约束的遵守情况以及有用的多样性。对于代理，要评估工具调用参数和完成条件。一个提高文案多样性的设置，可能会让工具选择任务变得不那么可预测，因此在应用允许分别配置时，应对这些环节分别测试。

区分采样问题与证据问题

采样问题涉及模型在如何选择答案上的变化；证据问题则涉及必要信息是否可用且可信。当答案包含未经支持的当前事实时，应优先诊断证据问题。改变温度无法更新模型存储的知识。

“ 实时网页搜索工作流 ”解决的是当前来源材料的获取。你的应用仍然需要检查这些材料，并决定哪些内容支持答案。浏览器访问和解码设置运行在不同层面，因此要针对各自的职责对每一层进行评估。

额外的上下文既可能带来干扰，也可能带来信息。关于 语言模型任务中无关上下文 的实验表明，为何上下文选择值得单独关注。在通过调整采样来修复答案不一致之前，先检查提示词是否将相关证据与无关导航信息、重复内容，或从检索页面得来的相互冲突指令混在了一起。

按决策类型配置代理

一个代理可能执行多种类型的模型决策，而共享的温度会对它们产生不同影响。起草搜索查询、选择工具、提取价格和撰写最终解释，并不具有相同的需求。如果你的架构支持，应针对每种决策类型评估配置，而不是假定一个设置适用于整个任务。

将执行约束保持在采样之外。工具允许列表、参数验证和支出上限应当在不受模型生成文本影响的情况下保持有效。如果代理提出不被允许的操作，运行时应当拒绝该操作。更保守的采样可以减少某些不良提议，但不应承担访问控制的职责。

对于基于浏览器的任务， Agent Browser 提供交互界面。模型配置属于外围应用程序的一部分。分别比较模型调用与浏览器工作的成本，对后者使用 Scrapeless pricing ，而不是将所有运行时费用都视为 token 成本。

记录你的结果边界

温度推荐应说明支撑该推荐的评估范围。记录模型配置、任务集、提示版本和质量标准。如果其中任何一项发生变化，应检查该设置是否仍然满足相同要求，然后再将先前结果视作当前结论。

避免将一次狭窄的评估报告成适用于所有语言模型的一般性规则。两个系统可能暴露出同名参数，但在支持方式、默认值以及与其他控制项的交互上存在差异。一份有用的工程说明会说明评估了什么、还存在哪些失败情形。它无需声称某个值在普遍意义上最安全或最有创意。

要点

温度控制用于 token 采样的分布。应通过衡量你的应用所需的行为来选择温度，并将缺失证据或验证不佳的问题分开调查。从清晰的任务评分标准开始，在固定输入上比较候选设置，并保留那些解释了为何所选设置适配的示例。