MiMo-V3 即將換代：小米新架構 HySparse2 發佈

MiMo-V3 即將換代：小米新架構 HySparse2 發佈，1M 上下文預填充降 5 倍

MiMo-V3 即將採用全新架構。其核心 HySparse2 今日發佈。

更少的預填充、更小的 KV 緩存、更出色的長上下文檢索——我們一次實現了所有三者。

與 MiMo-V2.6 的 Hybrid SWA 架構相比：
• 在 1M 令牌時，預填充 FLOPs 降低 5.02 倍
• 在 1M 令牌時，KV 緩存縮小 4.5 倍
• 更高的 MRCRv2 和 RULER-v2 分數，外加更低的 AgentPPL 和 LongPPL

爲什麼構建全新架構？
代理式推理是一種截然不同的工作負載。每輪中，簡短的動作可能返回需要預填充的長觀察結果，同時上下文持續增長。這使得預填充成本、KV 緩存大小和檢索準確性同時成爲關鍵路徑。

HySparse2 通過兩級 KV 共享機制同時應對所有三者：
• KV Bridging：遵循 YOCO 的方法，跨解碼器中的全注意力層從自解碼器隱藏狀態構建其 K/V。
• KV Reuse：在每個混合塊內，稀疏層重用前序全注意力層的 KV 緩存和選擇索引。

另外兩項改動：令牌級選擇取代塊級選擇，強制窗口內的近期令牌取代獨立的 SWA 分支，因此本地和全局令牌共享一個 KV 緩存。由於所有跨解碼器 KV 緩存現均來自自解碼器，預填充可在自解碼器完成後即停止。