「即使安装100万台NVIDIA GPU，实际工作时间也只有10%」

被称为HBM之父的KAIST金正浩教授在最近的一次采访中说道。其余90%的时间，GPU都在等待内存中的数据到来，基本上是在闲置。

原因很简单。每次AI输出一个单词的答案时，都需要从HBM读取数据并重新写入，而这个读写时间几乎占用了全部时间。

即使优化算法，GPU也很难超过30%的利用率。因此金教授强调AI能力最终由内存决定，AI本质上就是内存。

局势变化的信号也很明显。随着从训练时代转向推理时代，内存需求爆炸式增长，从HBM4开始不再是标准产品，而是提前与客户约定数量的定制化生产。

这是一个买方不再主导、卖方决定价格的市场，甲乙关系完全颠倒。

这也是三星电子与SK海力士合计营业利润预计达到500万亿~600万亿韩元并非空穴来风的原因。

黄仁勋频繁出入韩国、坐立不安，正是因为他比任何人都清楚这一点。GPU的增长已经停滞，AI计算机的下一步进化掌握在内存手中。

HBM只是起点，下一阶段还可能出现HBF、HBS和3D计算系统。

HBM的本质是把多层DRAM垂直堆叠，并通过TSV硅通孔和超宽接口连接AI加速器。传统内存主要提高频率，HBM则通过增加并行通道，把狭窄道路扩展成多车道高速公路。

HBM将多层DRAM垂直堆叠，并通过TSV和超宽接口连接AI加速器，以更短的数据路径和更多并行通道显著提高带宽。资料来源：公开技术资料整理

传统内存（如DDR、GDDR）就像是单条车道的高速路，虽然可以通过提高车速（频率）来增加运量，但车速总有物理极限。当AI大模型（LLM）爆发后，计算芯片（GPU/TPU）的算力呈指数级增长，每秒能处理的数据量极其恐怖。

这就导致了一个致命的瓶颈：内存墙 Memory Wall

早期HBM接口宽度达到1024位，HBM4扩展到2048个I/O。SK海力士披露其HBM4带宽达到上一代的2.54倍，功耗效率提高超过40%。NVIDIA H200则配备141GB HBM3E，内存带宽达到4.8TB/s。

GPU性能提升已经越来越依赖内存容量和带宽同步升级。

在逐token推理阶段，系统需要反复读取模型权重，并更新和访问KV Cache。模型越大、上下文越长、并发用户越多，需要搬运的数据就越多。

计算单元虽然能够快速完成矩阵运算，却可能长时间等待下一批数据到达。

AI即内存不是说计算芯片失去价值，而是系统瓶颈已从单纯的浮点运算能力，转向计算、带宽、容量和互连之间的平衡。

只扩大GPU面积而不提高内存供给能力，新增算力很难被充分利用。所以HBM逐渐成为人工智能的核心战略资产

训练阶段需要极高算力，但任务通常集中在少数大型集群；推理阶段则要面对海量用户、长上下文、多模态输入和持续运行的AI智能体。

随着AI从模型开发走向商业部署，推理对内存容量、带宽和能耗的要求可能更具持续性。

这一变化正在推动HBM从标准化产品转向定制化系统部件。

HBM4开始引入更复杂的逻辑基底芯片，内存控制、接口和部分计算功能可以根据NVIDIA、Google、Microsoft、AMD等客户的加速器架构共同设计。

内存厂商不再只是生产通用颗粒，而是在研发初期就参与系统定义。定制化意味着更长的认证周期、更高的切换成本和更早的产能锁定。

客户需要提前确定规格和交付时间，供应商则根据长期协议安排晶圆、封装和设备投资。标准化采购正在转向双方共同承担研发和产能风险。

但“甲乙方完全逆转”仍是过度概括。NVIDIA和云厂商掌握系统架构、软件生态与最终订单，仍有强大议价能力；

三星、SK海力士和美光则通过技术、良率和有限产能获得更高话语权。真正发生的变化，是内存从可替换零部件变成影响整个平台上市节奏的关键部件。

HBM解决了速度问题，却仍受容量、成本和封装面积限制。

随着模型参数、KV Cache和多模态数据继续增长，把全部数据长期放在昂贵的DRAM中并不经济，HBF由此成为下一条技术路线。

HBF可以理解为以高并行方式堆叠NAND Flash，在接近HBM的物理形态下提供更大容量。

Sandisk提出在相近成本下实现HBM约8至16倍的容量，并计划在2026年下半年提供首批样品、2027年初推动搭载HBF的推理设备送样。

HBF速度低于HBM，但容量更大、单位成本更低，适合保存模型权重等读取型数据。

未来可能形成分层结构：HBM承担“热数据”，HBF存放“冷数据”，普通SSD和网络存储位于更下层。

数据根据访问频率在不同层级之间移动。HBF不是替代HBM，而是为推理时代增加新的容量层。

金正浩进一步提出HBS即High Bandwidth SRAM。SRAM延迟更低，但成本高、密度低，传统上只能作为片上缓存。

若未来能够实现晶圆级、多层堆叠，HBS可能成为距离计算单元最近的超高速内存。不过，HBS目前仍属于前沿概念，距离标准化和商业量产尚远，良率、功耗和散热都是现实障碍。

传统的AI服务器拆开看，主板就像是一个平面的「科技园区」：GPU坐落在市中心，HBM内存像几栋高楼围在旁边，而NAND闪存和SRAM则散落在更远的外围。数据在这之间穿梭，依然要走漫长、耗能的「地表公路」

如果HBM、HBF和HBS逐步成熟，未来AI芯片可能不再是「GPU旁边放几颗内存」而是逻辑芯片、DRAM、NAND和SRAM共同组成的3D系统。

GPU或CPU负责计算，HBM提供高速带宽，HBF提供大容量，HBS承担超低延迟缓存，电力和冷却则贯穿整个封装。

这会重新分配半导体产业的价值。NVIDIA的计算架构和CUDA生态仍然构成强大壁垒，GPU性能也没有停止增长；

但系统性能越来越取决于内存、先进封装、互连、供电和散热。AI服务器的价值将从GPU裸片扩散至HBM、逻辑基底、硅中介层、液冷和电源系统。

三星与SK海力士的优势在于同时拥有DRAM、NAND、HBM和先进封装能力，但这一组合并非韩国企业独有，美光同样覆盖DRAM、NAND和HBM。

韩国真正领先的是HBM量产经验、客户认证和制造生态。与此同时，长鑫存储等中国企业也在推进高端DRAM和HBM研发，技术代差、良率和客户验证仍将决定追赶速度。

市场把三星与SK海力士未来合计营业利润外推至数百万亿韩元的说法，显然是超级周期过于激进情景，而不是公司指引或一致预期。

定制HBM确实提高了订单可见度和利润率，但扩产、客户集中、地缘政治与技术迭代仍可能改变结果。

传统的算力军备竞赛已经走入死胡同。下一轮AI架构的争夺表面上是看谁能做好供电与散热，但其底层逻辑依然是所有这一切，都是在为「让数据更快、更省电地抵达内存」而服务。

谁能率先打破「内存墙」谁才能真正释放大模型的全部潜力。目前来看AI计算的下一代架构终究还是要由内存DRAM来定义。

数据来源：本文核心观点及数据主要编译自韩国科学技术院（KAIST）金正浩教授的公开访谈，并结合了 SK 海力士（SK hynix）、英伟达（NVIDIA）、闪迪（Sandisk）及三星半导体（Samsung Semiconductor）等行业头部企业的公开财报、技术白皮书及官方发布资料。本文内容仅供参考，不构成任何投资建议。文中配图由人工智能技术生成，可能与真实情况存在差异，仅供示意与参考，不构成任何事实陈述、专业建议或承诺。