【编者按】
本文深度剖析了AI算力爆发背后的关键技术循环与产业链变局。文章聚焦于HBM（高带宽内存）的演进、内存墙的挑战、先进封装与光互联技术的突破，以及TSMC、NVIDIA、OpenAI等巨头在其中的战略定位。通过对2026年产业拐点的前瞻，揭示了算力、带宽、功耗与封装之间的深层耦合关系。这不仅是一场技术竞赛，更是一场涉及供应链、资本与地缘政治的全面重构。适合关注AI硬件、半导体与未来算力架构的读者深入阅读。
云服务提供商为何自主研发人工智能专用集成电路
云服务提供商面临两大成本压力：
其一，高端图形处理器（例如H100）的定价高昂；其二，大规模模型训练与推理所需的功耗巨大。
专用集成电路通过针对特定工作负载（如矩阵乘法、张量运算）定制硬件，实现了较图形处理器更优的每瓦性能，从而提供解决路径。
尽管北美云服务商的专用集成电路在峰值算力上通常低于英伟达H100，但其成本与功耗优势带来了更高的整体性价比。例如，谷歌的TPU v6与微软的Maia 100分别达到了H100非稀疏性能的90%与80%。
在推理场景中，功耗、延迟与成本成为决定性因素。根据CSET分析，专用集成电路在推理任务中的效率较中央处理器高出100至1000倍。
麦肯锡预测，到2025年，专用集成电路将占据数据中心推理工作负载的40%与训练工作负载的50%，这表明主流云服务提供商正大规模采用定制化加速器。
专用集成电路增长推动高带宽内存需求
尽管专用集成电路提升了能效，其高计算吞吐量仍依赖高带宽内存支持。TPU与Maia等芯片通常集成高带宽内存堆栈，以实现每秒数太字节级带宽，并搭配高效互连技术以最小化数据延迟。
诸如Marvell等企业正重构高带宽内存输入输出接口与共封装光学技术，以降低能耗并提升单芯片堆叠内存容量。其创新设计将高带宽内存接口电路从XPU芯片边缘移至堆栈底部基板，削减输入输出功耗70%，同时释放25%芯片面积用于增配计算单元。此优化使每XPU的高带宽内存堆栈数量提升33%，助力云服务提供商降低总拥有成本。
与此同时，Alchip与GUC等专用集成电路设计公司正采用硅通孔与混合键合技术构建三维集成电路解决方案，进一步优化计算芯片与高带宽内存间的带宽与能效。这些技术为云服务提供商大规模部署定制人工智能芯片奠定了基础设施基础。
高带宽内存竞争格局与供应链演变
高带宽内存供应链涵盖五大关键环节：
第一，高带宽内存知识产权；第二，原材料；第三，芯片设计；第四，芯片制造；第五，封装与测试。
由于高带宽内存采用三维堆叠结构，对硅通孔加工设备、晶圆级封装设备与键合机等上游装备的需求正快速增长。
材料领域的关键要素包括环氧模塑化合物底部填充材料、复合模塑材料及硅通孔缓冲层。主要供应商通过专利布局与供应链严格控制构建竞争壁垒，塑造高带宽内存行业持续演进的竞争格局。
核心洞察——内存墙与新型互连技术：
当前高带宽内存通过堆叠结构与硅中介层实现带宽提升，但面临高成本与热管理挑战。未来架构可能采用光子互连或基于计算快速链接的内存池化技术，实现多加速器间高效数据共享与分发。评估计算快速链接2.0/3.0在人工智能数据中心中的作用，以及光子布线突破“海岸线限制”的潜力尤为重要。
混合键合与后端集成：
混合键合可提高层间互连密度，预计将于高带宽内存第五代产品中引入。然而，其对无尘室等级要求、晶圆研磨设备及整体制造成本的影响仍需深入分析。
近存计算与高带宽内存替代方案：
Cerebras（晶圆级处理器）与Groq（近存架构）等企业通过大规模集成静态随机存储器减少数据迁移。需探究存内处理或大型处理单元是否能在特定人工智能工作负载中部分替代高带宽内存。
中国高带宽内存发展与地缘政治因素：
长鑫存储的高带宽内存项目与中国半导体自主化进程可能重塑全球供应链与定价体系。同时，美国出口管制与许可限制加剧市场不确定性。这些地缘政治因素对全球高带宽内存市场的影响仍是关键议题。
高带宽内存与光子封装集成：
为提升能效，供应商正研究将高带宽内存与光子芯片或共封装光学器件集成封装。例如，Marvell提出重构高带宽内存输入输出接口以集成光收发器——这可能成为后高带宽内存时代的重要发展方向。
内存扩展协议与软件生态：
除硬件外，编译器与框架对高带宽内存管理的支持对生成式人工智能工作负载至关重要。需深入研究PyTorch 2.0、TensorFlow XLA等框架如何优化高带宽内存分页与数据管道，以充分释放可用带宽与容量。
人工智能浪潮放大内存需求：
大模型训练与推理本质上受限于内存带宽与容量，使高带宽内存成为人工智能加速器的核心组件。升级至新一代高带宽内存或增加堆叠高度可在算力不变条件下显著提升模型吞吐量。
云服务商定制芯片推动高带宽内存需求：
谷歌、微软等云超大规模企业设计定制专用集成电路以优化能效与成本，但仍依赖高带宽内存提供高速缓存与带宽。行业正探索高带宽内存输入输出重构与三维集成电路集成以降低功耗与面积开销。
动态竞争格局：
SK海力士凭借封装技术与良率优势当前领跑高带宽内存市场。三星与美光正积极追赶，中国供应商加速入场。未来竞争将聚焦制程工艺、封装创新、混合键合与光子互连技术。
新兴趋势观察：
突破内存墙需依靠新型互连与近存计算技术。混合键合、光电封装与中国半导体政策将在行业格局塑造中发挥关键作用。本综述旨在帮助读者清晰理解人工智能芯片与高带宽内存的协同关系，以及定义下一代内存创新浪潮的前沿趋势。
原文媒体：Substack
原文链接：
https://tspasemiconductor.substack.com/p/the-infinite-ai-compute-loop-hbm
