【内容目录】
一、Jalapeño 由谁定义，谁来实现
二、生产遥测：Open AI 多掌握了什么
三、真实负载怎样改变芯片资源分配
四、半导体周期下，哪些专用化能够成立
五、从跑分到 Agent 的任务收益
六、GPU、CUDA 与推理定价权
引言
2026 年 8 月 25 日，OpenAI 公布 Jalapeño 的首批测试结果。这款面向大模型推理的 ASIC 采用 HBM4；A0 工程样片在特定配置下达到 1459 Token/s，并在等交互速度比较中显示最高 104.3 倍的单位功耗吞吐差距。从初始设计到完成 tape-out，项目历时九个月。
OpenAI 没有晶圆厂，芯片实现、板卡系统和制造也由多家公司协作完成。Jalapeño 却围绕 ChatGPT、Codex 与 Agent 的生产负载展开。当模型公司同时掌握模型、流量、编译、调度和部署，一部分原本交给通用芯片供应商的架构决策就可以收回内部。
一、Jalapeño 由谁定义，谁来实现
芯片架构是一张资源优先级清单。延迟、带宽、功耗、兼容性和灵活性无法同时最大化，设计者必须决定硅面积和功耗预算先解决什么。通用 GPU 面向大量客户和不断变化的任务；OpenAI 面对的是自己每天重复出现的生产请求，可以把目标具体到首 Token 延迟、KV Cache、跨芯通信和 Agent 串行调用。
Jalapeño 采用分层协作：OpenAI 定义模型路线、生产负载和服务目标，Broadcom 参与芯片与网络实现，Celestica 负责板卡、机柜和系统集成，TSMC 负责晶圆制造。
图1｜Jalapeño 从封装延伸到板卡、网络、机柜和软件，交付单位是一套推理系统。
芯片公司知道怎样把规格做成硅片，OpenAI 知道哪些生产损失值得消耗硅面积。这两种能力在 Jalapeño 上接到了一起。
二、生产遥测：OpenAI 多掌握了什么
公开基准固定模型、精度、输入输出长度和 batch，最后给出一个方便比较的数字。生产系统提供的是一组持续变化的分布：长短请求怎样混合，高峰并发何时出现，缓存能否复用，用户愿意等多久，哪一步最容易重试，一次失败会不会让整条任务链重新执行。
这些数据直接对应产品结果。ChatGPT 对首 Token 延迟敏感；Codex 还要处理长上下文和工具调用；Agent 会把模型、检索、代码执行和其他工具串成几十步流程。同样的平均吞吐放进三类产品，会得到不同的等待时间、任务成功率和成本。
传统芯片公司可以测出模型需要多少矩阵运算，OpenAI 还能看到矩阵运算之后发生了什么。某种延迟是否让用户退出，某次缓存失效是否扩大了带宽压力，某个工具调用失败是否让前面消耗的 Token 全部作废，这些信号决定了生产系统里哪一种损失最贵。
这份遥测相当于一份不会公开出售的规格书。先进制程、HBM 和高速网络都可以买到，请求分布买不到。OpenAI 由此获得了一套区别于公开 benchmark 和行业平均需求的优化目标。
三、真实负载怎样改变计算、内存和通信
一次 Agent 任务可能连续经过多轮模型调用、检索和工具执行。平均吞吐再高，只要首 Token、逐 Token 或尾延迟在某一步抖动，等待就会沿整条链累积；发生重试，前面已经消耗的 Token 和工具时间也会一起作废。OpenAI 除了知道模型需要多少 FLOPs，还能定位哪一种延迟正在制造无效计算。
这个差别会改变芯片预算。低 batch 和严格的逐 Token 延迟要求缩短数据路径；长上下文提高 KV Cache 局部性的价值；模型规模扩大后，搬运权重和状态可能比增加计算单元更值得优化；MoE 把跨芯通信推入关键路径。乘法器、缓存、HBM 带宽、互连和低延迟调度由此获得不同的优先级。
图2｜生产推理同时经过 prefill、decode、KV Cache 与跨芯通信；Agent 会把这条路径连续重复多次。
硬件和软件承担不同时间尺度的变化。权重搬运、KV Cache、内存带宽、跨芯通信、功耗和散热属于寿命较长的物理账单；模型拓扑、量化方式、稀疏策略、内核和调度继续留给软件。Jalapeño 的公开测试没有采用 prefill 与 decode 分离部署；首测覆盖 GPT-OSS 120B、DeepSeek R1 670B 和一款 1T 模型。它把反复出现的数据搬运成本固化进硬件，同时保留模型结构的调整空间。
生产反馈按一条可测量的循环进入下一代设计：真实任务暴露瓶颈，编译器、调度器和硬件重新分配资源，系统上线后产生新的延迟、缓存、重试与失败数据。芯片是其中周期最长、成本最高的一环。
图3｜真实任务通过生产遥测暴露稳定瓶颈，瓶颈转化为架构取舍，再由线上任务验证并进入下一轮设计。
写进硅片的问题，必须比一代模型活得更久。
四、半导体周期下，哪些专用化能够成立
模型可以按月迭代，芯片从定义到规模部署需要数年。固定一代模型的层数、权重和数据流，效率潜力最高，折旧也最快。权重搬运、KV Cache、内存带宽和多芯通信变化慢，更有机会跨过几轮模型更新。半导体周期既是风险，也是筛选器：活不过一代芯片的假设，本来就不该进入硬件。
专用化的成败取决于被固化对象的寿命。GPU 用面积、功耗和数据搬运开销换取灵活性，为模型、任务和市场的不确定性付费；负载越稳定、规模越大、控制链越完整，这笔费用越容易被看见，ASIC 重新分配资源才有经济意义。
图4｜四条路线押注不同的确定性：市场、模型、通信边界与生产负载。
四条路线固定的是不同东西。通用 GPU 把选择留给软件；Taalas 把模型与权重写进硅片；Cerebras 把更多计算、存储和通信留在晶圆内；Jalapeño 固定的是在线推理中反复出现的生产损失。前者押注市场和任务的变化，后三者分别押注模型寿命、通信边界和负载稳定性。
Jalapeño 位于固定模型芯片与通用 GPU 之间。它保留模型层面的弹性，收回数据搬运、缓存、网络和调度上的通用性开销。它赌的是这些物理账单会比模型名字活得更久。
九个月对应完成 tape-out，后面还有量产、系统验证和流量迁移。OpenAI 已推进 Gen2、Gen3，并与 Broadcom 规划 2026 至 2029 年的 10GW 多代加速器与系统合作。规模摊薄每代芯片的开发成本，连续迭代让上一代的生产数据进入下一代。真实负载降低预测误差，多代路线负责修正剩下的误差。
五、从芯片跑分到 Agent 的任务收益
1459 tok/s/user 衡量特定配置下的单用户逐 Token 延迟。在 GPT-OSS 120B、名义 8k 输入／1k 输出和单 Token 预测配置下，Jalapeño 达到约 0.69ms/token，GB200 为 535 tok/s/user。
104.3 倍衡量等交互速度下的单位功耗综合吞吐。双方固定在 GB300 约 169 tok/s/user 的最快公开工作点后，Jalapeño 的优势最高达到 104.3 倍。这个数字回答同一功率预算可以承接多少流量，不能直接换算为单次回答或 Agent 任务的加速倍数。综合三个模型，在各自最佳效率点，Jalapeño 的每瓦吞吐提高 1.5 至 1.9 倍；在最低延迟点，单用户解码速度提高 2.1 至 4.1 倍。
对 Agent，价值单位是一次成功完成的任务。评价芯片收益要看三个结果：任务总耗时、任务成功率和每次成功任务的系统成本。更低的延迟会缩短串行链路，更高的每瓦吞吐会释放更多并行尝试。OpenAI 可以把这部分红利用于降本，也可以投入更多验证和重试，换取更高的任务成功率。
Jalapeño 目前仍是 A0 样片，OpenAI 计划在 2026 年底开始小规模部署，并在 2027 年扩大规模。跑分给出架构上限，流量迁移和利用率决定商业后果。
六、GPU、CUDA 与推理定价权
CUDA 的价值来自完整的软件与开发者生态，在开放市场里显著降低了模型和硬件的切换成本。OpenAI 的条件不同：模型、流量、编译器、调度器和机房都在同一家公司内部，ChatGPT 和 API 用户不会感知后台芯片的变化，硬件切换变成调度系统的一项内部选择。
Jalapeño 无须复制一套面向全行业的 CUDA 生态。只要它能接管 OpenAI 规模最大、最稳定的一部分生产推理，英伟达在这一市场的默认份额、溢价和议价权就会承压。训练、前沿研究、快速变化的模型和容量缺口仍由 GPU 承接。
Jalapeño 进入生产后，英伟达将从默认采购路线变成 OpenAI 内部调度系统中的一种硬件选择。竞争焦点会落到一笔具体账上：OpenAI 继续为通用性付费，还是自己定义系统。对英伟达，先受到影响的会是 OpenAI 内部最稳定推理负载的默认订单，而非 CUDA 开发者。
参考资料：（上下滑动可查看）：
