存儲市場“炸”了，谷歌新技術讓內存需求暴降6倍？

近日，谷歌研究院發佈了一項名爲TurboQuant 的全新AI內存壓縮技術，很快便在存儲市場引發了劇烈震盪，導致全球存儲芯片板塊出現顯著下跌。並被Cloudflare 的 CEO Matthew Prince 稱爲這是谷歌的 “DeepSeek 時刻”。

這項技術旨在解決大語言模型在運行時面臨的“鍵值緩存”（KV Cache）內存瓶頸問題。

簡單來說，當AI模型處理信息、生成文本時，需要大量高速內存來存儲臨時的計算結果（即KV緩存），這曾是AI服務器“喫”內存的主要原因之一。

而TurboQuant技術能夠在不損失模型準確率的前提下，將這部分內存的佔用量壓縮至原來的六分之一，同時在英偉達H100 GPU上實現最高8倍的性能加速。

因爲 TurboQuant 極大地降低了內存佔用，未來用戶的手機或輕薄筆記本，即便內存不大，也能本地流暢運行參數很大、能力很強的 AI 模型。而廠商也不再需要爲了跑 AI 而瘋狂堆砌超大內存，設備成本可能降低，或者在同等價格下給用戶更好的其他配置。

此外，因爲這項技術專門解決了“鍵值緩存”（KV Cache）的瓶頸，這意味着 AI 能“記住”更長的上下文。未來用戶的 AI 助手可能記得住其幾個月前說過的細節，或者能幫其瞬間讀完並總結幾十萬字的小說/法律文檔，而不會“讀了後面忘前面”。

總的來說，這項技術對於整個 AI 行業來說，猶如一顆投入深海的炸彈，它預示着長上下文AI推理的成本以及對內存的需求可能會急劇下降。以後人們不需要瘋狂砸錢買昂貴硬件，就能讓 AI 記住更長、更復雜的信息。

目前，谷歌尚未表明何時將這項技術用到自家的 Gemini等模型上，這還只是一項學術成果，計劃在下月的ICLR會議上正式發表。