新智元报道
新智元报道
【新智元导读】GPT-5.6的推理速度，竟然高达750 tokens/秒！专业大佬曝出内幕：它将横跨100张晶圆运行。AI从思考变闪现，实时智能时代真的来了？
根据各方爆料，GPT-5.6马上就要向全民开放了。
最近，关于这个模型的各种猜测，已经在X上火起来。
6月26日，OpenAI曾正式宣布全新一代GPT-5.6家族。
而且在官博里有这么一句：OpenAI计划于本月在芯片巨头Cerebras的定制硬件上推出全新前沿模型——GPT-5.6 Sol，推理速度达到了令人胆寒的每秒750个Token！
也就是说，过去需要等待几分钟的复杂Agent操作，现在眨眼间就可以完成。
显然，OpenAI已经在硬件与模型协同设计上率先迈出了颠覆性的一步。
再加上不久前史上首款自研AI推理芯片Jalapeño正式曝光到曝光，我们可以感觉到，OpenAI已经有了成为全栈AI帝国的野心。
「每秒750个Token」是什么概念？
对于人类来说，这相当于一秒钟阅读并输出大约500到600个汉字。
你眼前的这段文字，GPT-5.6 Sol只需要不到零点几秒就能生完。
在X上，知名开发者Caleb Shepherd激动地表示：「这是我最兴奋的事情，GPT-5.6 Sol运行在Cerebras上。不仅仅是因为写代码的速度变快了，更是因为计算机使用的速度迎来了质变。我们再也不用为了等AI点击一个按钮而苦等两分钟了。」
长期以来，虽然大模型变得越来越聪明，但「推理延迟」一直是实时交互多步Agent任务中落地的最大瓶颈。
当模型大到拥有数万亿参数时，传统的GPU集群在节点间通信（NVLink互联）上往往会遇到物理瓶颈。
而OpenAI给出的答案是：不要让模型去适应硬件，要让硬件和模型融为一体。
根据官方披露的初步信息，GPT-5.6 Sol将在7月份以极其有限的规模向特定客户开放，随着产能的爬坡才会逐渐铺开。
大家在网上所猜测的那样，这绝对是一项极其昂贵的服务，是为那些愿为速度买单的顶级企业量身定制的特权。
当750 Tokens/s的消息传出时，LLM Arena的负责人Peter Gostev提出一个所有人都疑惑的问题：
GPT-5.6 Sol在Cerebras上到底是怎么回事？据我所知，这似乎是完整的同一个模型（包含视觉等多模态能力），而不是像以前GPT-5.3-Codex-Spark那样阉割了视觉和上下文的残血版。
但我的理解是，Cerebras的单芯片顶多只能装下7000到9000亿参数的模型。那么，是模型变小了？还是有我不知道的新型芯片？或者是某种多芯片协同的新技术？
这个疑问立刻引发了诸多网友的探讨。
有人戏称，大家这是在「午夜进行法医级别的芯片审计」，并表示「如果这真的是同一个完整模型，那就像是有人把一艘超级游轮硬塞进了一个玻璃瓶里，而且还不告诉你怎么做到的。」
很快，资深技术专家Bleys Goodson给出了一份极具说服力的硬核推演——
GPT-5.6 Sol 并非塞进了一张芯片，而是横跨了70到100张Cerebras晶圆级芯片！
业内专家估算，GPT-5.6 Sol的规格极其庞大：
总参数量： 约3万亿 激活参数： 约1500亿 网络层数： 约70到90层
为了获得健康的推理服务特性，OpenAI和Cerebras采用了一种极其奢侈且震撼的部署方式——将每一层神经网络，单独部署在一整张Cerebras晶圆上。
正如一位网友所指出的，通过增加流水线阶段，只要你有足够多的晶圆将它们链接起来，理论上你可以扩展到任意大小的模型，这不会影响Token的生成速度，只可能对首Token时间TTFT有轻微影响。
然而，光有海量晶圆还不够。Cerebras芯片架构的一大特点是拥有海量的片上SRAM（静态随机存取存储器），速度极快，但容量极其珍贵。
如果OpenAI像过去一样，在GPT-5.6 Sol中使用传统的重型KV缓存），那这些昂贵的SRAM带宽将被瞬间吃干抹净。
这就引出了本次合作最核心的战略转向：围绕特定硬件进行模型重构。
Bleys Goodson指出，既然OpenAI深入参与了硬件协同设计，他们极大概率放弃了传统的注意力机制缓存方案，转而采用了更前沿的轻量化设计。
最有可能的方案包括：
类似DeepSeekV4的架构： 极度优化缓存占用。 混合SSM设计： 将Mamba等线性时间复杂度的模型与Transformer结合，彻底甩掉KV Cache的历史包袱。
此外，知名开发者John Lam还提出了一个惊艳的猜测——注意力与FFN解耦。
他推测，OpenAI可能正在使用传统GPU来处理注意力计算，而用海量的Cerebras晶圆来暴力强推前馈神经网络部分的计算。
这绝非空穴来风。网友们很快扒出了Cerebras此前在博客中关于Kimi K2.6的部署细节：
Cerebras在CS-3系统上将Kimi K2.6的原始权重以4-bit存储，同时以16-bit浮点进行计算以保证精度。权重分布在多个晶圆上，激活值在晶圆间流式传输。层与层之间的全互联通信完全依靠晶圆上的网络结构，其带宽是Nvidia NVL72上NVLink的200倍以上！结合自定义算子和投机解码，他们能以接近1000 tokens/s的速度运行万亿参数的MoE模型。
官方规格显示，革命性的CS-3系统不仅速度无敌，而且在单个逻辑设备上就能轻松扩展到24万亿参数的模型！
正如有人惊叹的那样：「如果这真的是完整版的Sol跑在Cerebras上，那么所有人预设的模型大小天花板，就在今夜被直接捅破了。」
而且就在此前，OpenAI正式发布了史上第一颗自研芯片——Jalapeño。
这颗芯片的问世，直接解释了OpenAI与Cerebras合作的深层逻辑：通过在第三方顶尖推理硬件上的探索，OpenAI彻底摸清了专用推理架构的命门和价值，并将其转化为自身可控的底层平台。
Jalapeño是墨西哥辣椒中辣度最温和的品种之一。OpenAI拿它命名，显然是表明：这只是开胃小菜。
这颗芯片，是专为大模型推理设计的定制ASIC。从画下第一根线开始，它的每一个晶体管都只为一件事优化：跑大模型。
令人意外的是，Jalapeño不仅跑OpenAI自家的模型，其架构还兼容全行业的LLM，展现出了极大的平台野心。
而且，这颗芯片的设计和流片只用了短短9个月。
这背后，是极其强大的产业联盟：
架构主导： OpenAI 亲自操刀底层架构设计。
芯片实现与互联： 芯片巨头博通提供强大的实现能力和网络互联技术支持。
系统集成： Celestica 负责最终的板卡制造和机架级物理集成。
模型自己训，芯片自己设计，推理自己优化，部署自己控制。
显然，OpenAI的目标，是一个庞大的全栈AI帝国。
但OpenAI的野心比Apple和Google还要疯狂，他们拥有一个前所未有的超级飞轮：用AI来加速AI基础设施的建设，再用建好的更强基础设施，去运行更强大的AI。
按照OpenAI公布的宏伟蓝图，首批GW级超级数据中心将从2026年底开始，与微软等核心合作方共同部署。
一座中型城市的全部用电量，将用来驱动Jalapeño和下一代辣椒芯片的推理机架。
准备好，很快，我们即将迎接GPT-5.6 Sol在Cerebras晶圆上以750 Tokens/s的速度狂飙，打破参数与推理速度的物理魔咒。
参考资料：
编辑：Aeneas
