这是第二期，温度，在资料调研过程中，我发现AI领域中不少概念都是其他领域衍生过来的，我想的是虽然这只是理解LLM的过程，与此同时也是理解世界的过程。
基本上是的。 但只有一句话稍微有些轻飘飘了，我们深入一点，从温度的起源开始。
一，温度的起源
起源是统计力学的玻尔兹曼分布。
一句话解释就是：在热平衡状态下，系统处于某个能量状态的概率与 e−E/kTe−E/kT 成正比——能量越低的状态越容易被占据，温度越高时不同能量状态之间的概率差距就越小。
LLM中的温度直接借用了玻尔兹曼分布的形式——它通过缩放 softmax(Q/KT)softmax(Q/KT) 中的 logits（除以温度参数 TT），控制输出概率分布的平滑程度：温度越低高概率 token 越突出（接近 argmax），温度越高分布越均匀（接近均匀采样），本质上是调节模型在"确定性"和"多样性"之间的权衡。
看起来非常难以理解，softmax不知道，logits不知道，argmax不知道。这些都可以暂时抛开。
简单解释： 想象你有一个盒子里的气体分子：
盒子左边温度极低（接近绝对零度）
盒子右边温度极高
你可以马上回答出气体分子的行为差异：
低温（左边） → 分子懒洋洋地缩在盒子底部，几乎不动
高温（右边） → 分子疯狂乱飞，充满整个盒子
A,B,C是三个盒子；下方曲线是温度变化。
这个直觉就是一切的基础。温度越高，系统越"随机"，所有可能的状态越趋于等概率。
在LLM中，简单来说就是，温度越低，确定性越强，多样性越弱；温度越高，确定性越弱，多样性越强。
LLM中确定性指的是：模型每次对同一输入都输出相同的结果。当温度趋近于 0 时，softmax 分布坍缩成 argmax——模型永远选择概率最高的那个 token，没有随机性。
关于确定性与不确定性可以看纳西姆的《黑天鹅》会有更深刻的理解。
多样性指的是：模型对同一输入能产生不同的输出。温度较高时，低概率的 token 也有机会被采样到，模型会"探索"那些不那么显而易见的词或思路。
举个实际的例子。
比如，你问大模型一个问题。
情况1：处于低温状态，那么大模型好好回答你的问题占90%的概率，骂你笨蛋的概率占10%。
情况2：处于高温状态，大模型好好回答你的问题占60%概率，骂你笨蛋的概率占40%。
二，不同温度对LLM输出结果的影响
那么大模型的各种回答在温度不同时是如何变化的呢，请看下图。
我们知道，大模型回答是随机的，在"你"字后面，可能加"好"，也可能加"妈"。
根据训练用的数据，这两者的概率是不同的。
在正常情况下，打招呼概率是远高于骂你的，在持续的升温过程中，就会让这两者的概率趋于一致。
三，哪些因素影响温度
上下文/prompt：对于开放的问题，本身各种可能的输出概率本身就没有太多区别，而对于一些常识或者事实，基本有一项或几项的概率是很高的。
Prompt 1: "法国的首都是___" → logits 极尖（P(巴黎) ≈ 0.999）
Prompt 2: "写一个关于夏天的故事开头" → logits 平坦（多个 token 概率接近）
模型本身logits尺度：
logits可以认为是各个token的原始概率，再除以T，进行缩放，可见如果T->+∞，所有可能的token都概率趋近于相等。
还有很多因素，包括知识蒸馏，偏好......之后写番外，不然篇幅太长。
四，不同温度的应用场景
我们可以认为如果LLM从事"编程"，"律师"之类的职业，那么应该选择较低的温度，而一些更需要"想象力"的职业，高温度更合适。
例如，通用模型 vs 代码模型：代码模型的 logits 分布比通用模型更"尖"（代码的 token 分布天生更确定）。所以 CodeLlama 上用 T=0.5 的效果 ≈ 通用模型上用 T=0.7。
五，常见疑问
Q: temperature = 0 真的安全吗？可以用来做事实核对吗？
A: 不安全。T=0 只是确定性的，不是正确的。模型可能在某个错误认知上同样"确定"。
T=0只会让一个笨模型变成一个坚定的笨模型。
Q: 把 temperature 设成负值会怎样？
A: 无意义。负 T 会翻转概率分布（使低概率变高概率），不产生有用的输出。
类似于虎符咒。
Q: Temperature 对推理速度有影响吗？
A: 基本无影响。temperature 只是 softmax 前的一个除法操作，计算量可忽略。
六，参考文献
https://arxiv.org/abs/1503.02531
https://doi.org/10.1207/s15516709cog0901_7
https://arxiv.org/abs/1904.09751
https://huggingface.co/blog/how-to-generate
https://www.deeplearningbook.org/
https://platform.openai.com/docs/api-reference/chat/create#chat-create-temperature
https://docs.anthropic.com/en/docs/intro-to-prompting#temperature
https://en.*********.org/wiki/Softmax_function
制作不易，拜托大家点个赞吧
更多游戏资讯请关注：电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com
