芯片，横向堆叠

GPU 和其他大型 AI 芯片的内存永远都不够用。如今的数据中心计算机堆叠了 12 层 DRAM 芯片。但随着内存制造商试图构建更高的堆叠层数以容纳更多数据位和带宽，专家担心这种高带宽内存(HBM) 会产生过多的热量，最终导致自身过热损坏。如果 GPU 制造商选择将HBM 堆叠在已经发热的处理器顶部以提高带宽，而不是将其放置在处理器旁边，这种情况尤其可能发生。

世界各地的工程师正在研究一种替代方案：与其将DRAM芯片堆叠在一起，为什么不将它们并排堆叠呢？他们希望通过这种方式，将未来高耸入云的熔炉变成一个由凉爽硅鳍组成的立方体。

上个月在IEEE超大规模集成电路研讨会上，两个研究团队展示了实现此类芯片的不同方案。韩国研究人员预测，一种名为V-Die的侧堆叠芯片，与目前最先进的存储器HBM4相比，速度可提升82%。日本工程师则表示，他们的方案MOSAIC芯片的存储容量应该是HBM4的两倍，而且峰值温度不会比HBM4高出太多（超过1℃）。

如今的HBM由多层DRAM硅芯片堆叠而成，这些芯片位于另一块芯片（称为基板）上。基板为堆叠层供电，并协调与处理器的通信。数据和电力通过贯穿每个芯片的垂直连接（称为硅通孔，TSV）传输到堆叠层中。芯片之间以及芯片与基板之间通过连接到TSV的微小焊点连接。

典型的AI加速器，例如Nvidia B300，两侧各有8个HBM堆叠，每个堆叠由12个芯片组成，每个堆叠可提供36GB的内存。每个堆叠都与GPU位于同一基板上，因此它们可以通过2048微米宽的线路连接毫米级的间隙。对于HBM4而言，这种配置可以实现每秒2800GB的数据传输速率。

但即便如此，未来也远远不够。“人工智能模型的规模正在爆炸式增长，”韩国蔚山科学技术大学（UNIST）博士生杨熙洙在超大规模集成电路研讨会上告诉工程师们，“但内存容量和带宽却难以跟上，造成了巨大的瓶颈。”

HBM 最紧迫的问题之一是其过热问题。填充芯片间隙的材料的耐热性比硅衬底高约 100 倍，这阻碍了热量向上传递到处理器封装的散热器处进行散热。虽然有一些方法可以缓解这个问题，但随着芯片制造商通过堆叠更多芯片来增加产能，这个问题很可能会变得更加严重。

另一个未来的问题是，随着芯片制造商追求更高的堆叠高度，存储容量和带宽之间的权衡问题会越来越突出，蔚山科学技术大学（UNIST）权智敏实验室的学生杨指出。更高的堆叠高度需要更多的硅通孔（TSV）来传输数据，从而占用用于存储数据的硅片面积。

上个月，权教授的团队与韩国大田韩巴特国立大学的金成柱教授合作，提出了针对HBM未来发展问题的解决方案。该方案名为V-die，它将DRAM芯片垂直堆叠，并在芯片间加入微流体冷却通道，使其温度保持在45℃左右，远低于HBM通常超过80℃的峰值温度。

杨解释说，芯片本身也会有所不同。由于无需垂直连接，也就无需使用硅通孔（TSV），从而腾出空间容纳更多存储单元。此外，每个芯片都将拥有独立的I/O系统，无需基底芯片。这些系统将沿着芯片底部边缘排列，并通过每隔20微米的连接点与GPU所在的硅衬底相连。研究团队计算得出，这种设计方案的连接点数量是HBM4的四倍，并且可将内存读取时间缩短37%，尽管部分数据需要多传输几毫米才能到达处理器。

研究团队模拟了16芯片堆叠结构将如何改变人工智能计算机（例如由Nvidia H100 GPU组成的计算机）的性能。在模拟GPT3规模的大型语言模型的工作负载下进行测试，V-die系统每秒可处理540个token，而相同内存容量的HBM4系统每秒仅能处理296个token。此外，V-die系统还将延迟（处理第一个token所需的时间）降低了32%，约24毫秒。

目前正在研制一种原型设备，用于验证其热特性和电特性。

这些DRAM方案，有时被称为volumetric DRAM，实际上是先将一个芯片堆叠在另一个芯片之上，然后将整个堆叠体侧放，再将其连接到基板或其他芯片上。比利时微电子研究中心Imec的项目主管James Myers表示，这可能会导致一些棘手的集成问题。Myers的团队之前已经解决了GPU上DRAM堆叠的热问题，现在正在研究在这种情况下使用垂直芯片。“你必须精确控制芯片的厚度，”他说。即使DRAM芯片之间只有几微米的差异，累积起来也会导致与基板连接的问题。如果堆叠体中不规则的芯片数量过多，“就会错过焊盘”。

来自东京大学、东北大学和日本理研（Riken）的研究团队在IEEE超大规模集成电路研讨会上展示了一种解决这一问题的新方法。该团队没有将芯片底部直接与基板电连接，而是测试了一种电感耦合收发器系统。他们在存储芯片的一侧制作了长方形的电感线圈，尺寸约为80微米×240微米。他们在基板上垂直放置了一组对应的线圈。电流流过一个线圈会在另一个线圈中感应出磁场，从而传输数据信号。由于线圈无需完全重叠，因此存储器在基板上的放置精度有很大的调整空间。

东京大学博士生御手洗由纪在研讨会上表示，数量较少且占用表面积较大的电源连接被放置在存储立方体的侧面。

MOSAIC 是一款设计用于安装在 GPU 顶部的内存芯片，每个立方体包含 98 个芯片，可提供 294 GB 的内存容量。虽然它没有采用微流体冷却结构，但由于热量可以通过硅鳍片上升，因此其温度应控制在 81.3℃ 以内，接近目前常见的 80℃ 上限。此外，御手洗亮太表示，如果将 DRAM 芯片的厚度减少三分之二至 100 微米，则 MOSAIC 立方体可以在相同体积内集成 294 个芯片，从而达到 882 GB 的容量。

本文探索了一种3.5D V-die内存架构，作为一种替代集成范式。在该架构中，传统制造的DRAM芯片被竖直旋转，以在系统层面充分利用三维空间。我们通过将其可实现的带宽、容量可扩展性和散热性能与最先进的HBM进行基准测试，评估了V-die概念的可行性。通过将芯片竖直放置以扩大暴露的表面积，并实现相邻芯片之间的直接液冷，V-die能够支持更高的热设计功耗，同时实现超越传统HBM的可扩展I/O密度和容量。

HBM 的带宽密度、容量扩展和热设计功耗等方面的根本性限制日益凸显，这主要是由于 TSV 限制了 I/O 的数量。TSV 的有限尺寸限制了 I/O 引脚数量的扩展，而密集堆叠芯片中的热量积累则限制了通过增加 DRAM 层来扩展内存容量。为了克服这些限制，本研究提出了一种 3.5D 集成方案（即 2.5D 集成与 V 型芯片堆叠相结合，如图 1 所示），其中 DRAM 芯片竖直放置，并水平排列在中间层上。V 型芯片架构使得每个芯片面向中间层的整个表面都可以用于 I/O，从而显著扩展了布线资源和可实现的带宽。此外，还采用了直接液冷 (DLC) 技术，即使在增加芯片数量以提高内存容量的情况下，也能保持热稳定性。

所提出的V型芯片架构将DRAM芯片竖直放置，使得整个面向中介层的侧壁都可用于I/O布线，从而相比传统的HBM架构扩大了可用布线面积。该架构采用细间距铟凸点代替铜柱凸点，将凸点间距减小到20 µm，从而使I/O引脚总数最多可增加4倍（图2）。

由于缺少基底芯片（PHY层），XPU与V型芯片之间的平均距离更长。我们制作了测试用的共面波导（CPW）结构，以提取材料特性用于电磁仿真，从而为RDL提供测量校准参数（图3）。频域电磁仿真揭示了线/空2 µm/2 µm RDL的沟道特性。

在最坏情况下，RDL 线长为 11 mm 时，V 型芯片互连的插入损耗和回波损耗特性与高达 4 GHz（奈奎斯特频率为 8 Gbps）的传统 HBM 通道相当（图 4）。此外，远端和近端串扰水平保持在 -30 dB 以下，表明在最坏情况下的布线条件下，通道间耦合很低。数字通道仿真通过电磁提取的 RDL 通道模型验证了信号完整性。尽管互连线长度增加，但 V 型芯片通道的最小眼图张开度仍超过了 JEDEC HBM4 接收器掩模的要求，即眼图宽度为 0.3 UI，眼图高度为 100 mV（图 5）。总而言之，这些结果表明，所提出的 V 型芯片架构能够在不违反 JEDEC 电气约束的前提下，实现更大的 I/O 数量。

本文采用诸如gem5这样的模块化系统基准测试平台 ，在相同的合成流量负载下量化 HBM 和 V-die 系统的内存带宽和延迟增益。HBM4 的性能表征基于 JEDEC 规范，而 V-die 系统则通过增加 HBM4 的器件总线宽度来模拟其引脚数量的增加（图 6）。在不同的读写比下，与 HBM4 相比，V-die 的峰值带宽提高了 4.01 倍，读取延迟降低了 37.2%（图 7）。

本文采用硬件评估框架 LLMCompass 来评估实际 AI 模型执行期间的系统级吞吐量。LLM 工作负载采用与 GPT-3 相当的 175B 参数 LLM 模型，运行在基于 A100 和 H100 架构的 8 个 GPU 计算节点上（图 8）。

为了防止 L2 缓存饱和掩盖 V-die 的引脚数优势，GPU 的 L2 缓存带宽也相应进行了调整。内存子系统采用 5 个活动堆栈，以模拟标准 6 堆栈 HBM 系统的典型利用率。V-die 的解码吞吐量比 HBM4 提高了 1.82 倍（图 9）。虽然 HBM4 系统的吞吐量在上下文长度从 211 扩展到 215 时下降了 53.6%，但 V-die 系统提高了吞吐量的稳定性，将吞吐量下降幅度限制在 24.8%。在逐层延迟分析中，内存密集型操作（例如注意力机制、归一化和 softmax 函数）的延迟降低了 47.3%。

我们分析了热模型，以评估 HBM4 和 V-die 的热稳定性。HBM4 由 1 个基片和 16 个 Hi DRAM 芯片组成，每一层都包含硅芯片、后端互连层 (BEOL) 和微凸点 (图 10(a))。相比之下，V-die 架构采用面对面配置的 DRAM 芯片和 BEOL 层，并使用铟微凸点提供与衬底的垂直连接 (图 10(b))。各层的等效热特性汇总于表 9 。HBM4 基片的功耗为 9 W，其中 6 W 分配给物理层 (PHY)，剩余的 3 W 分配给硅通孔 (TSV) 和 I/O。

对于 HBM4 和 V-die 架构，每个 DRAM 芯片的功耗均为 2 W，其中 1.5 W 用于存储体，0.5 W 用于 I/O 。 HBM4采用DLC散热，其传热系数为30,000 W/m²∙K。相比之下，V型芯片采用芯片间DLC散热，其传热系数相同，45 °C的冷却液在由钝化层保护的各个芯片之间流动。与HBM4最高温度90 °C相比，V型芯片的最高温度显著降低至45 °C（图11）。热阻网络分析表明，HBM4的散热受限于垂直方向的热量积聚，而V型芯片则允许每个芯片直接将热量散发到周围环境中。

本文提出了一种3.5D V型芯片存储架构，旨在解决HBM系统的根本性局限性。通过重新定向传统制造的DRAM芯片，该架构在符合JEDEC信号完整性标准的前提下，实现了显著更高的I/O密度，同时通过扩大散热面积，实现了带宽和容量的扩展。与传统的HBM不同，该V型芯片架构能够可扩展地利用第三维度，为未来超高带宽、高容量的超低温存储系统开辟了一条新的集成路径。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

加星标⭐️第一时间看推送