没想到这也开源了。
10 月 20 日下午，DeepSeek 开源了内部使用的推理框架 DeepInfer，以及配套的 token 编解码组件 deepseek-recipe。
DeepInfer 是目前支撑 DeepSeek 大规模推理服务的基础，本次以 Apache 2.0 许可证发布，当前支持 DeepSeek-V4.1-Flash。
这次发布迅速引起了关注，昨天大家讨论的都是 DeepSeek 现在让大家都可以快速部署自己的 AI 模型了，今天转念一想，不对，大模型推理怎么这么赚钱啊？
DeepSeek 披露，基于这套系统，单个集群每天服务的吞吐量达到 155 万亿 token，按 API 谷价算，整体收入达到每卡每小时 38 美元。
这是个什么概念呢？有人算出了毛利率是 82%：假设你卖的 API 使用率够高，并以每张 B300 每小时 7 美元的租金租用显卡，仅扣租金后仍有可观的余量。
Hacker News 上有人直接这么形容：一枚核弹。冷冰冰的数字告诉你 AI 没有泡沫。
DeepInfer 给如今 AI 服务价格的讨论补充了重要的数据，让我们第一次知晓了把模型高效运行起来的工程能力。
对于普通用户来说，调用大模型只是发出请求、等待回答。服务端则需要安排大量请求共享芯片，读取模型参数，调动分布在不同设备上的计算资源，还要控制排队和生成延迟。
大家会发现，模型都是 DeepSeek 的同样型号，但官方 API 和第三方部署的用起来不太一样，这是因为同一个模型，采用不同的推理实现，每张卡能同时服务多少用户、用户需要等多久都可能不同。推理框架解决的正是这类问题，它旨在提高推理效率，让单位算力的有效吞吐，以及用户感受到的响应速度实现最优水平。
这方面应该没有比 DeepSeek 自己做得更好的了。
DeepInfer 主要面向大规模部署，支持英伟达 SM100 GPU 和华为昇腾 950 NPU，整合优化算子、分布式并行、推测解码、异步调度等能力，也支持按 JSON Schema 等规则约束输出。DeepInfer 最初主要基于 vLLM 开发，也参考了 SGLang 和 TensorRT-LLM。
与此同时，deepseek-recipe 负责把不同格式的 API 请求转换成模型使用的提示词和 token 序列，再把输出还原成相应格式的响应。它支持 Chat Completions、Responses、Messages 等接口格式，涵盖思考内容、工具调用和流式输出等处理。
这对于第三方部署有重要的意义：开发者可以复用官方的请求处理与编解码逻辑，减少同一套应用换到其他服务端后出现行为差异的机会。模型能否顺利接入已有 Agent 工作流，往往也取决于这些细节。
当前开源的仓库提供了离线推理及支撑大规模服务的核心能力，当然，完整线上服务仍需配套 KV Cache 系统、视觉编码与 Prefill/Decode 分离部署，以及跨副本负载均衡等组件。第三方获得了一套重要的引擎，落地时仍要完成系统集成。
这些部署工作的共同目标，是让每张卡少做重复计算，服务更多请求。
从官方部署资料看，DeepSeek 的优化思路包括按推理阶段组织资源、复用上下文计算结果，以及提高每次解码的有效产出。
大模型处理请求时，先要处理输入上下文（也就是 Prefill），然后逐步生成回答（也就是 Decode）。把两个阶段分开部署可以分别安排资源，避免不同负载挤在一起。这有助于同时优化首个 token 的等待时间和后续生成速度。
缓存则尤其适合长对话和 Agent。智能体调用工具后，下一轮请求常常再次携带前面的系统提示、工具说明和历史记录。如果能够复用已有上下文的中间计算结果，就可以减少反复处理同一段内容的开销。
一个突出的地方在于 KV Cache 的保留时间，官方披露说 Agent 流量保留 3 天，聊天流量保留 7 天。这些缓存放在独立的 3FS 存储集群里，各台 Prefill 机器都能读取。通过把跨天保留、共享存储和自动匹配结合起来，DeepSeek 让已经算过的长上下文在更多后续请求中继续发挥作用。
其他家包括 Anthropic、OpenAI 和 Google，缓存保留的时间大多在 5 分钟到 24 小时之间。
另一个例子是 DSpark 推测解码：先生成候选 token，再交给主模型验证。DeepSeek 进一步根据候选的预计接受率安排验证，减少花在低收益候选上的计算。官方部署问答估算，在所列生产工作点附近，动态长度验证相对固定验证 5 个候选 token，可提高约 4-7% 的吞吐。
这些优化累积起来，改变的是每块显卡能够交付的服务量。他售价低但真不在亏钱，只要算力不闲着，而且计算卡买的越多就赚的越多。
围绕 token 成本的讨论，按当前官方的价格表，DeepSeek-V4.1-Flash 和 V4.1 Pro 的 API 是这样的。
比较服务收入与成本，需要同时考虑输入、输出和缓存命中的构成。毕竟缓存命中输入的售价只有未命中的五十分之一。好就好在 DeepSeek 自己说了个 38 美元的数。
除了租 GPU 的 7 美元，即便把其他服务开支加上，API 售价与成本之间仍有相当大的距离，这说明高效推理有可能同时做到低定价和可观的盈利空间，怪不得云服务厂商都在借钱盖数据中心。在 Hacker News 上，人们的讨论存在分歧，有人按更低的 GPU 成本推算出了更高的利润空间，也有人强调必须计算模型整个生命周期的投入。
不过之前「10 个月内收回全部设备成本」的说法，现在算是有了依据。
另一方面，《The Information》上个月曾披露 DeepSeek 年化收入达到约 10 亿美元，大致对应每天 274 万美元，如果对照每卡每小时 38 美元的话，正好等效 3000 张卡。
DeepInfer 提供了优化部署的代码起点。对于大多数用户而言，更充分的推理竞争有望带来更低的调用成本和更好的响应体验。
不知未来是大家「不用去耽误梁叔叔训练 AGI」，还是会等 V4.1 Pro 推出，再次挤爆 DeepSeek 服务器？
参考内容：
https://zhuanlan.zhihu.com/p/2095560295930508953
https://news.ycombinator.com/item?id=50163277
https://www.theinformation.com/articles/deepseeks-annualized-revenue-hits-1-billion-startup-finalizes-7-5-billion-fundraising
https://x.com/Yuchenj_UW/status/2112591074409742733
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
