OpenAI下一代芯片，定了！

OpenAI将借助韩国晶圆代巨头三星电子的力量，设计其下一代人工智能加速器。此举有望帮助ChatGPT的开发商在内存、工艺技术或其他关键方面获得成功所需的资源。

OpenAI 韩国总经理 Harrison Kim 周三在新闻发布会上宣布了这一消息。就在几周前，该公司展示了其第一代“Jalapeño”加速器，该加速器在一系列推理工作负载中击败了英伟达的 Blackwell GPU。

据路透社报道，他表示：“我们与三星电子在下一代芯片的联合生产和研发方面取得了最大的进展，并获得了最多的认可。”

但现在炒作已经消退，华尔街也确信人工智能专用集成电路的崛起不会像他们担心的那样威胁到英伟达的统治地位，OpenAI 仍然不得不面对作为一家无晶圆厂芯片设计商的现实。

如今绝大多数尖端芯片都出自同一家公司：台积电。这意味着，要想获得足够的产能，就必须与AMD、英伟达以及几乎所有其他芯片厂商和超大规模数据中心运营商竞争，因为这些厂商和运营商都在设计自己的芯片。

但台积电并非唯一一家领先的晶圆代工厂，它只是规模最大而已。规模较小、知名度较低的选择还包括三星电子和英特尔晶圆代工。

OpenAI（以及博通，说实话）的设计大量使用了高带宽内存（HBM），但高带宽内存的供应同样受到限制，只有三家主要制造商能够批量生产：SK 海力士、美光，以及你猜对了，三星电子。

这使得OpenAI陷入了困境，它不得不与规模更大、产量更高的芯片设计商竞争逻辑芯片和存储芯片。因此，OpenAI与三星的合作可能会产生双重影响。

最明显但也是最无趣的是，三星将为该模型开发商的下一代芯片提供全部或至少一部分 HBM，由于没有官方代号，我们将称之为 Habanero。

OpenAI 的Jalapeño AI 推理芯片上个月在 Hot Chips 大会上详细介绍了其采用的 HBM4 技术，这项技术也应用于 AMD 和 Nvidia 的最新 GPU。这表明 Habanero 芯片很有可能采用速度更快的 HBM4E。鉴于目前内存供应短缺，如果 OpenAI 想要确保充足的供应，就需要尽早建立这些合作关系。

除了供应链之外，时机也至关重要，因为OpenAI的下一代芯片很可能会利用定制的基片，将内存控制器甚至部分逻辑电路从计算芯片转移到HBM堆栈本身。如果你还记得几周前英伟达关于NVHBM的披露，就会发现这是同样的道理。

然而，这些定制的基础芯片需要与 HBM 供应商进行一些协调，因此，即使计算芯片本身最终是由台积电制造的，现在与三星建立密切关系也将有利于 OpenAI。

虽然 OpenAI 与三星合作最明显的原因是内存方面的，但这并不意味着他们不能采用三星的 2 纳米工艺技术来制造下一代芯片，从而获得台积电之外的替代供应商。

三星是全球第二大芯片代工厂，曾为英伟达、苹果等众多公司生产芯片。英伟达的Ampere架构显卡大多采用三星的8纳米制程工艺，而配备HBM显存的加速卡则全部由台积电代工。

但诸多因素，包括多芯片架构的兴起（需要先进封装技术）以及基于HBM加速器的广泛应用，使得台积电成为更具吸引力的选择。此外，三星3纳米工艺良率方面遇到的挑战也可能加剧了这一趋势。

但到 2026 年，三星看起来更有吸引力，包括 Rebellions、Tenstorrent 和 Groq 在内的芯片设计公司正在其晶圆厂建造复杂的 AI 加速器。

Rebellions 的 Rebel100 加速器就是一个特别有用的例证，因为它采用了多芯片架构和 HBM3E，这两项技术都需要复杂的先进技术才能将所有部件完美地整合在一起。这款芯片表明，三星完全有能力生产 OpenAI 的下一代芯片。更重要的是，这样做可能会让他们获得比仅从台积电获得的更多的芯片配额。

我们已联系 OpenAI 征求其对芯片战略的意见，但截至发稿时尚未收到回复。

OpenAI 的 Jalapeño 是一款专为 AI 推理设计的定制加速器，尤其适用于交互式和智能体系统背后的低延迟、多芯片工作负载。其核心理念是，有效性能不能仅仅局限于峰值浮点运算或内存带宽。真正重要的是完成整个请求的速度和效率。因此，OpenAI 会从端到端延迟、令牌间隔时间以及每焦耳令牌数等方面评估芯片，从而全面权衡延迟和吞吐量。

该ASIC芯片集成了强大的计算和存储能力：在700瓦的封装内，实现了高达13.4 petaflops的MXFP4矩阵计算能力、216 GiB的HBM4显存以及15.4 TB/s的内存带宽。一个完整的2048芯片系统可达到27 exaflops的MXFP4计算能力、432 TiB的内存容量以及32 PB/s的总带宽。然而，该设计指出，仅凭原始规格参数是不够的。尽管理论上HBM的总带宽允许每秒进行数千次全模型权重读取，但实际的令牌读取速率远低于此，因为数据移动、同步、通信以及延迟到达的操作数都会导致计算单元等待。

Jalapeño 通过空间架构解决了这些瓶颈问题。每个核心切片都与一个 HBM 切片配对，从而创建了一个快速、高带宽的本地内存视图。专用的集体网络处理常见的跨核心通信模式，而更灵活的片上网络则支持通用流量。软件显式地放置张量，在本地执行计算，并且仅在必要时使用共享路径。分布式控制还避免了独立核心必须通过集中式资源同步时可能出现的代价高昂的全局屏障。

这种组织结构反映了单个推理请求中不断变化的需求。预填充过程需要大量的注意力机制，并且很大程度上受限于计算能力。推测性草稿模型规模较小，以极低的批处理大小运行，并且对网络延迟高度敏感。验证和解码过程结合了注意力机制、内存带宽密集型的专家混合执行以及突发通信。Jalapeño 并没有将这些阶段分配给不同的加速器并反复传输键值缓存，而是将状态保持本地化，并激活不同的计算、内存和网络资源组合。未使用的模块可以断电。OpenAI 的指导原则是，封装内的“暗”硅成本低于闲置加速器持续消耗基础 HBM、网络、冷却和机架资源的成本。

在系统层面，128 个芯片构成一个局部域，而多达 2048 个芯片则通过两级 Clos 网络连接。带宽经过精心设计，采用阶梯式分配：张量并行处理占用更高的带宽，专家级并行处理则占用更少的带宽，所有流量都受益于低延迟。这使得互连成为计算机的一部分，而不是独立芯片的附属设备。

在公开的 InferenceX 基准测试中，OpenAI 报告称，Jalapeño 在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 的每瓦性能帕累托前沿均处于领先地位。与选定的 GB200 或 GB300 配置相比，Jalapeño 的每千瓦峰值吞吐量提高了 1.5 到 1.9 倍，端到端延迟降低了 1.7 到 3.6 倍，令牌交互性提高了 2.1 到 4.1 倍。在与前一个系统相同的令牌间时间点，Jalapeño 的效率优势达到了 8.6 到 104.3 倍。这些比较使用了 8000 个令牌的输入、1000 个令牌的输出、四位权重、封装 TDP 归一化以及厂商优化的软件。值得注意的是，Jalapeño 使用的是单令牌预测，而一些基线模型使用的是多令牌预测，因此在解读结果时，必须了解所公开的方法。

总而言之：推理正成为人工智能运营成本的主要组成部分，而智能体应用在完成一项用户任务之前可能需要反复调用模型。每瓦每秒请求数的提升可以转化为更低的能耗、更大的数据中心容量和更快的交互式系统。Jalapeño 也展现了硬件-软件-人工智能协同设计的价值：OpenAI 在九个月内完成了从初始 RTL 到流片的整个过程，利用人工智能优化了硬件模块，并生成了据称超越专家编写实现的内核。其更广泛的意义在于战略层面：模型开发者现在可以根据实际工作负载定制芯片，缩短算法、编译器、架构和部署之间的周期，从而使前沿智能的部署更具成本效益。