DeepSeek 开源推理框架 DeepInfer，单集群日吞 155 万亿 Token

一、DeepInfer 是什么

据 AITOP 10 月 21 日 AI 早读，DeepSeek 开源了其生产级推理框架 DeepInfer，采用 Apache 2.0 许可。官方披露的关键指标相当惊人：完整系统单集群每天可服务 155 万亿 Token，每 GPU 小时营收达 38 美元。对一个以效率著称的团队来说，这不是炫技，而是把内部大规模部署经验对外公开。

二、它怎么压低 GPU 空等

报道提到，DeepInfer 通过几项工程手段大幅降低 GPU 的空闲等待：用 CPU 预排任务，减少卡在调度上的时间；采用多 Token 草拟，一次生成更多有效输出；对热点专家做分散，缓解个别计算单元的拥堵。这些思路并不神秘，但组合起来能显著抬升吞吐，直接转化为成本优势。

三、为什么推理层远未商品化

DeepInfer 的出现再次提醒业界：推理层远没有变成 commodity。通用的 serving 框架在面对架构特殊的模型时，往往会留下大量性能空间。SwiftInference 的同期周报也指出，专为特定架构打磨的运行时，能比通用框架多榨出可观吞吐。对要跑大规模部署的团队，选型时不能只看「能不能跑」，还要看「跑得贵不贵」。

四、开源生态的连锁反应

DeepSeek 把生产级方案开源，受益的是整个围绕其模型家族的工具生态。开发者可以基于 DeepInfer 做二次优化，也能更透明地理解头部团队是怎么把成本压下来的。这种「把方法公开」的做法，比单纯发一个更强的模型更有长期价值——它降低了后来者重复造轮子的成本。

五、对中小团队的意义

对算力预算有限的中小团队，这类开源推理框架是最大的利好。它意味着不必依赖昂贵的托管服务，也能在自有硬件上获得接近头部的吞吐效率。当然，部署和调优仍有门槛，但它至少把「高性能推理」从大厂的专利，变成了社区可以共同打磨的公共资产。