DeepSeek 每卡每小时收入38美元，让大模型以合理的成本服务用户

DeepSeek 放出了不少开发者期待很久的推理技术文档，把自家内部用来支撑 V4.1 Flash 线上服务的 DeepInfer 框架对外开源。不少人看好这个团队，不只是模型定价亲民，之前已经持续放出不少 AI 底层基建给到社区，这次直接拿出支撑线上大规模服务的核心方案。

这套框架在设计阶段定下三个明确方向。优先适配不同品牌的计算芯片，保证在各类硬件上部署后都能跑满性能。Prefill 和 Decode 阶段分开搭配常见硬件，8 卡机器负责 Prefill，64 到 128 卡的超节点承接 Decode 任务，跟着两个阶段负载差异安排调度和通信逻辑。

系统原生支持 KVCache 留存超过 72 小时，缓存命中后不用重复跑 Prefill，省下不少算力开销。

官方给出两组很有参考价值的线上数据，单集群每日吞吐 155 万亿 Tokens，谷电核算下每卡每小时收入 38 美金。这两个数字能直观感受到这套部署方案的承载能力和商业化空间。

只是官方没有公布集群总数和显卡规模，没法算出整体的单日营收和总 Token 产出。

能把线上服务的整套工程方案公开，对想做大模型部署的开发者来说算是一份实用参考。它的核心价值，就是帮大家用可控的算力成本，稳定承接大量用户的并发请求。