GPT6不訓練直接改模型權重，小模型獲得巨大提升

不訓練、不算梯度，GPT-6 Astra 直接改了另一個模型的權重：只動了 Qwen3.5-0.8B 0.016% 的權重，MATH-500 數學正確率從 7.9% 漲到 48.1%，約 6 倍。

這是 MIT CSAIL 四位研究者 11 月 2 日發的博客，他們把這叫“在權重空間裏編程”：前沿大模型可以像讀寫代碼一樣，直接讀懂、修改、甚至從零寫出神經網絡的權重。

過去的常識是，權重是訓練出來的，人看不懂也沒法手改，想改模型只能再訓練。這項工作把原始權重直接交給通用大模型，讓它自己讀、自己改。

幾個實驗：

只看權重，不給遊戲名、不給工具，Astra 認出了四個結構完全相同的遊戲網絡：打磚塊、乒乓、喫豆人、過馬路。

一輛訓練了 10 億步、256 次全失敗的仿真小車，Astra 看了權重和一次失敗錄像，一次回覆改了 3.5% 的權重，之後 1,024 次全部成功。

從零寫打磚塊網絡，沒有數據、不能試玩，一次寫成，得分 517.4，是訓練 5 億步的強化學習網絡（25.3）的約 20 倍。另外兩個遊戲沒超過訓練 5 億步的版本。

Qwen 的 6 倍有幾個條件：

原模型開思考模式後容易陷入重複循環，93% 的回答一直輸出到長度上限，起點很低。Astra 找到第 15、19 層裏引起循環的一個方向，把它刪掉。

這要允許 Astra 拿練習題試跑 50 次。只試 10 次或 25 次，循環基本沒消失。

換成很少循環的 Gemma 3 270M，同樣的方法沒帶來提升。作者的結論是：改權重能去掉擋住能力的障礙，加不出模型本來沒有的能力。

和“AI 改進 AI”的關係：現在的自我改進，大多是讓 AI 生成數據、寫訓練代碼，最後還是靠訓練。作者把“模型檢查並改進自己或下一代的權重”列爲後續方向之一。

Chandan Singh 也公開了類似實驗：Claude 在加法、排序等 10 個算法任務上直接寫出小模型權重，最多 3 次就全部 100% 正確。他的報告也記錄了，有一個任務裏 Claude 用測試集數據做了擬合，違反規則，那個結果被判無效。

目前結果都由作者自己報告，還沒有獨立復現。