DeepSeek 每卡每小時收入38美元，讓大模型以合理的成本服務用戶

DeepSeek 放出了不少開發者期待很久的推理技術文檔，把自家內部用來支撐 V4.1 Flash 線上服務的 DeepInfer 框架對外開源。不少人看好這個團隊，不只是模型定價親民，之前已經持續放出不少 AI 底層基建給到社區，這次直接拿出支撐線上大規模服務的核心方案。

這套框架在設計階段定下三個明確方向。優先適配不同品牌的計算芯片，保證在各類硬件上部署後都能跑滿性能。Prefill 和 Decode 階段分開搭配常見硬件，8 卡機器負責 Prefill，64 到 128 卡的超節點承接 Decode 任務，跟着兩個階段負載差異安排調度和通信邏輯。

系統原生支持 KVCache 留存超過 72 小時，緩存命中後不用重複跑 Prefill，省下不少算力開銷。

官方給出兩組很有參考價值的線上數據，單集羣每日吞吐 155 萬億 Tokens，谷電覈算下每卡每小時收入 38 美金。這兩個數字能直觀感受到這套部署方案的承載能力和商業化空間。

只是官方沒有公佈集羣總數和顯卡規模，沒法算出整體的單日營收和總 Token 產出。

能把線上服務的整套工程方案公開，對想做大模型部署的開發者來說算是一份實用參考。它的核心價值，就是幫大家用可控的算力成本，穩定承接大量用戶的併發請求。