這是第二期，溫度，在資料調研過程中，我發現AI領域中不少概念都是其他領域衍生過來的，我想的是雖然這只是理解LLM的過程，與此同時也是理解世界的過程。
基本上是的。 但只有一句話稍微有些輕飄飄了，我們深入一點，從溫度的起源開始。
一，溫度的起源
起源是統計力學的玻爾茲曼分佈。
一句話解釋就是：在熱平衡狀態下，系統處於某個能量狀態的概率與 e−E/kTe−E/kT 成正比——能量越低的狀態越容易被佔據，溫度越高時不同能量狀態之間的概率差距就越小。
LLM中的溫度直接借用了玻爾茲曼分佈的形式——它通過縮放 softmax(Q/KT)softmax(Q/KT) 中的 logits（除以溫度參數 TT），控制輸出概率分佈的平滑程度：溫度越低高概率 token 越突出（接近 argmax），溫度越高分佈越均勻（接近均勻採樣），本質上是調節模型在"確定性"和"多樣性"之間的權衡。
看起來非常難以理解，softmax不知道，logits不知道，argmax不知道。這些都可以暫時拋開。
簡單解釋： 想象你有一個盒子裏的氣體分子：
盒子左邊溫度極低（接近絕對零度）
盒子右邊溫度極高
你可以馬上回答出氣體分子的行爲差異：
低溫（左邊） → 分子懶洋洋地縮在盒子底部，幾乎不動
高溫（右邊） → 分子瘋狂亂飛，充滿整個盒子
A,B,C是三個盒子；下方曲線是溫度變化。
這個直覺就是一切的基礎。溫度越高，系統越"隨機"，所有可能的狀態越趨於等概率。
在LLM中，簡單來說就是，溫度越低，確定性越強，多樣性越弱；溫度越高，確定性越弱，多樣性越強。
LLM中確定性指的是：模型每次對同一輸入都輸出相同的結果。當溫度趨近於 0 時，softmax 分佈坍縮成 argmax——模型永遠選擇概率最高的那個 token，沒有隨機性。
關於確定性與不確定性可以看納西姆的《黑天鵝》會有更深刻的理解。
多樣性指的是：模型對同一輸入能產生不同的輸出。溫度較高時，低概率的 token 也有機會被採樣到，模型會"探索"那些不那麼顯而易見的詞或思路。
舉個實際的例子。
比如，你問大模型一個問題。
情況1：處於低溫狀態，那麼大模型好好回答你的問題佔90%的概率，罵你笨蛋的概率佔10%。
情況2：處於高溫狀態，大模型好好回答你的問題佔60%概率，罵你笨蛋的概率佔40%。
二，不同溫度對LLM輸出結果的影響
那麼大模型的各種回答在溫度不同時是如何變化的呢，請看下圖。
我們知道，大模型回答是隨機的，在"你"字後面，可能加"好"，也可能加"媽"。
根據訓練用的數據，這兩者的概率是不同的。
在正常情況下，打招呼概率是遠高於罵你的，在持續的升溫過程中，就會讓這兩者的概率趨於一致。
三，哪些因素影響溫度
上下文/prompt：對於開放的問題，本身各種可能的輸出概率本身就沒有太多區別，而對於一些常識或者事實，基本有一項或幾項的概率是很高的。
Prompt 1: "法國的首都是___" → logits 極尖（P(巴黎) ≈ 0.999）
Prompt 2: "寫一個關於夏天的故事開頭" → logits 平坦（多個 token 概率接近）
模型本身logits尺度：
logits可以認爲是各個token的原始概率，再除以T，進行縮放，可見如果T->+∞，所有可能的token都概率趨近於相等。
還有很多因素，包括知識蒸餾，偏好......之後寫番外，不然篇幅太長。
四，不同溫度的應用場景
我們可以認爲如果LLM從事"編程"，"律師"之類的職業，那麼應該選擇較低的溫度，而一些更需要"想象力"的職業，高溫度更合適。
例如，通用模型 vs 代碼模型：代碼模型的 logits 分佈比通用模型更"尖"（代碼的 token 分佈天生更確定）。所以 CodeLlama 上用 T=0.5 的效果 ≈ 通用模型上用 T=0.7。
五，常見疑問
Q: temperature = 0 真的安全嗎？可以用來做事實覈對嗎？
A: 不安全。T=0 只是確定性的，不是正確的。模型可能在某個錯誤認知上同樣"確定"。
T=0只會讓一個笨模型變成一個堅定的笨模型。
Q: 把 temperature 設成負值會怎樣？
A: 無意義。負 T 會翻轉概率分佈（使低概率變高概率），不產生有用的輸出。
類似於虎符咒。
Q: Temperature 對推理速度有影響嗎？
A: 基本無影響。temperature 只是 softmax 前的一個除法操作，計算量可忽略。
六，參考文獻
https://arxiv.org/abs/1503.02531
https://doi.org/10.1207/s15516709cog0901_7
https://arxiv.org/abs/1904.09751
https://huggingface.co/blog/how-to-generate
https://www.deeplearningbook.org/
https://platform.openai.com/docs/api-reference/chat/create#chat-create-temperature
https://docs.anthropic.com/en/docs/intro-to-prompting#temperature
https://en.*********.org/wiki/Softmax_function
製作不易，拜託大家點個贊吧
更多遊戲資訊請關註：電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
