高通HBC完成硬件验证，每瓦带宽达HBM4的5倍！
图：高通的 HBC 结构渲染。左侧是叠在计算基底上的存储，右侧是单独的芯片。渲染里的层数，不等于这次验证样品的 2 层 DRAM。
更大的模型要在规模上做推理，功耗和成本不能跟着同等上涨。高通给出的路径是少搬数据：计算靠近存储，而不是把高带宽数据整段送到处理器。
高通技术公司 11 月 2 日称，第一代高带宽计算（High Bandwidth Compute，HBC）硅片已在圣迭戈实验室完成硬件验证。公司表示，验证展示了重塑人工智能基础设施经济性所需要的带宽和能效。
HBC 是高通的近存计算。低功耗 DRAM（LPDDR）叠在带有计算能力的逻辑基底上，用硅通孔（TSV）把叠层和下面的计算连起来。数据量大的运算留在存储所在的位置完成，送到外面的主要是更紧凑的结果。计算因此用的是存储器内部的带宽。它并不取代主处理器。
在实验室里，这批硅片跑通了完整的存储器读写路径，并完成了近存计算。高通称，核心技术在按设计工作，是在为下一代人工智能推理平台准备存储基础。验证是在代表量产产品的尺寸上完成的。工程团队使用业界标准的自动化测试设备（ATE），驱动硅片跑完代表量产条件的数据通路。测试使用随机的权重和激活值，把完整的存储器读写和计算都跑了一遍。
图：高通第一代 HBC 的自动化测试装置。图片来自高通，ServeTheHome 刊出。
实测展示了近存计算带来的带宽和能效。数据通路已经在实体硅片上得到验证。高通因此把 HBC 继续推向产品集成，准备用在量产的人工智能系统里。
对大语言模型的推理来说，存储带宽是核心约束。每生成一个词元，都要把模型数据供给计算。到了数据中心这一级，搬运这些数据的能耗和时延，会直接影响吞吐、功耗和总体拥有成本。
和 HBM 不是同一条路
叠上去的不是 HBM 那种薄型高性能 DRAM。高通向 The Register 说明，HBC 用的是 LPDDR；和 HBM 一样都是堆叠存储，但是另一套架构。高通的说明是，HBM 的 DRAM 叠层更多，靠 2.5D 中介层走更多连线，基底逻辑不做计算。设计上的存储叠层是 LPDDR5X。硅通孔仍然要做。省掉的是把超宽存储总线接到主芯片上的那一层封装，例如 CoWoS。一部分计算放在存储下面之后，离开叠层的数据少了，和 SoC 之间可以用普通的二维有机基板。公司的说法是，HBC 去掉的是“HBM 税”（HBM tax）：传统 HBM 要把高带宽数据从 DRAM 阵列一路送到 SoC，这条路经常撞上存储墙，单位容量成本更高，功耗更大，有效带宽也更低。投资者材料中的说法是，不用 HBM，也能提高可供计算使用的带宽，并改用商品化封装。
和“把 HBM 直接换下来”要分开看。从产品定位看，它是高通自己的推理加速器上，用来承担高带宽存储这一段工作的另一条路线。高通称这一架构有望免去对高带宽存储器的需求，做法是把低功耗 DRAM 叠在逻辑裸片上，替换放在处理器旁边的 HBM，这种设计据称会降低对 HBM 的需求。这种多层 LPDDR 写成，大体上接过目前 HBM4 承担的角色，并指出由于大量计算留在片内，和 HBM4 的原始带宽不完全是同一类比较。从技术上看，它不是同类替换件。HBM 加宽的是内存接口，数据仍要送到外部处理器；HBC 把一部分计算挪到存储下面。三星和 SK 海力士在继续原有 HBM 路线的同时，也在和高通一起推进 HBC，负责 DRAM 堆叠。所以更准确的说法是：它是另一种架构思路，用在高通自己的推理加速器上，而不是即插即用的 HBM 替代品。
它也不是定制 HBM。高通此前说明，最新的 HBM 把与处理器之间的接口加宽到 2048 位，单栈带宽推向大约 2 TB/s，并把栈底换成先进逻辑工艺上的基底，因此被称为定制 HBM。两边都在 DRAM 下面加了逻辑。差别在于数据还出不出去。定制 HBM 里，数据仍然要读出叠层、跨过接口、送进另一颗处理器。HBC 把数据量大的运算留在存储所在的位置，离开叠层的主要是更紧凑的结果。高通的归纳是，定制存储把存储器和计算之间的管道做得更聪明，近存计算避开的是大部分路程。更聪明的管道，仍然是管道。
图：高通用来区分定制 HBM 与 HBC。两边都在 DRAM 下加了逻辑。左侧的数据仍送往外部处理器，右侧数据量大的运算留在存储内。图中的带宽比例是这张示意图上的标注。
HBC 同样不取代处理器。高通给出的分工是：主加速器，例如 Dragonfly 人工智能加速器，继续承担复杂、灵活、编排很重的工作；HBC 承担那些数据供给成本很高、又适合放在存储旁边完成的运算。
倍数要分开看。此前的估算是，大批量场景下，HBC 相对 HBM 的每瓦带宽为 6 倍，对照的是已公布竞品规格，并在加速卡一级归一。数据中心加速器页面上的卡片仍使用这个口径：相对基于 HBM 的系统，每瓦存储带宽高 6 倍。11 月 2 日的验证简报给出另一组数字：有效存储带宽比 LPDDR5X 高 18 倍，每瓦带宽比 HBM4 高 5 倍以上。测试由自动化测试设备代替加速器，先用 LPDDR5X 的写入和读出做基线，再切到 HBC 模式跑负载，然后比较。ServeTheHome 报道，公司没有给出绝对带宽，18 倍是相对外部 LPDDR5X 的归类；每瓦带宽对照的是 HBM4 自身规格，且略低于原先希望相对 HBM 达到的 6 倍。HotHardware 写成略低于起初的 6 倍预期，对照的是 HBM4 的预期规格，并称样品是键合在逻辑上的 2 层 DRAM，出货产品按 4 层。ServeTheHome 同样提到 2 层样品和 4 层出货，并称因此还不是满层叠层的测试。公司博文的表述是，验证在代表量产产品的尺寸上完成。高通此前还把 AI250 相对使用 LPDDR5X 的 AI200，定为有效存储带宽 18 倍的设计指标。简报里的 18 倍对的是这次测试的 LPDDR5X 基线，和整卡设计指标不是同一个测量对象。
和验证并列的，是一款已经流片的产品
高通称，已与领先的代工和封测伙伴一起，开发并表征了跨越多代技术的晶圆对晶圆键合。方案里设计了冗余、重映射和经过验证的测试方法，用来发现并绕开存储缺陷，并覆盖相关的电学、热、键合和接口失效模式。公司称，这项技术按可重复、可靠和量产规模来做，硅片验证正继续推向商业部署。
完成硬件验证的，是第一代 HBC 硅片的存储器读写路径和近存计算。高通同时称，一款数据中心产品已经流片，键合了 DRAM 叠层的逻辑基底正在做早期启动，目前已经有良率产出。两项是一起公布的：验证的是这颗硅片，流片的是这款数据中心产品。
存储叠在逻辑上，已经做了十多年
这次验证建立在十多年的投入上，方向包括存储架构、先进封装和三维堆叠。高通已经把 DRAM 直接键合到逻辑硅片上，并做成了可商用的产品；也参与塑造 JEDEC 的 LPDDR 标准，并在全球规模上把存储器集成进系统级封装（SiP）。
这些经验把 DRAM、逻辑、热特性、测试覆盖、缺陷管理、可靠性和供应链放在一起。高通称，多年积累下来的工程能力，现在用在同一项、跨多年的 HBC 计划里。
下一步是 Dragonfly AI250
高通 Dragonfly AI250 预计在 2027 年上半年送样。HBC 将集成进一套完整的人工智能推理加速器，已经验证的带宽和能效也会进入 Dragonfly Rack。Dragonfly Rack 是高通的全栈推理基础设施方案。
今日推荐
