OpenAI自研芯片Jalapeño首秀：能效碾压英伟达Blackwell，但量产尚需时日

【科技24时区】在周二举行的Hot Chips大会上，OpenAI终于揭开了其自研推理芯片“Jalapeño”的神秘面纱，并首次披露了该系统的基准测试数据。这并非一次简单的参数罗列，而是一场针对当前AI算力瓶颈的精准手术。

数据显示，在SemiAnalysis推出的InferenceX基准测试中，Jalapeño的表现颇为亮眼。相较于目前市面上最先进的推理处理器，它在每用户令牌生成量以及每千瓦吞吐量这两个关键指标上均实现了超越。OpenAI硬件负责人Richard Ho在随后的媒体电话会议中直言不讳：“底线是，结果显示出了相对于现有最先进水平的巨大性能飞跃。”

Ho进一步阐释道，Jalapeño的核心优势在于“单位功耗下能承载更多的AI工作负载”，同时还能提供更快的响应速度。这种特性使其既能高效服务海量客户，又能保持极低的延迟。值得注意的是，这一对比对象直指英伟达最新的Blackwell系统。然而，技术竞赛从未停歇，当Jalapeño真正大规模部署时，竞争对手的技术迭代或许已将其甩在身后。

关于落地时间表，Ho给出的预期显得颇为谨慎。他预计，Jalapeño将在2026年底以“极小规模”开始部署，真正的规模化应用要等到2027年。这意味着，尽管纸面数据诱人，但从实验室走向数据中心的大规模商用，仍有一段漫长的爬坡期。

回溯至去年10月，Jalapeño项目首次对外公布。这款芯片由OpenAI与博通（Broadcom）紧密合作开发，期间甚至利用了OpenAI自家的模型来辅助设计过程。这种“用AI造AI芯片”的思路，折射出该公司试图构建一个多代际平台的野心——让AI产品、模型、芯片和内存协同演进，而非各自为战。

正是得益于这种全栈式的开发策略，OpenAI得以深入推理过程的微观层面，解决那些长期困扰行业的摩擦点。具体而言，Jalapeño的设计重点在于最小化“预填充”（prefill）和“通信”阶段的延迟，这两个环节往往被视为推理处理的瓶颈。

OpenAI在发布结果的博客文章中解释道：“我们设计Jalapeño旨在最小化数据移动和通信延迟。”这意味着，包括用于生成响应的KV缓存在内的模型状态，可以被显式地放置并保持本地化。与此同时，系统能够针对每个推理阶段，动态激活计算、内存和网络的最佳组合。这种对数据流的精细管控，或许才是Jalapeño能在能效比上实现突破的关键所在。