
因为公众号平台更改了推送规则。记得点右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送,就会第一时间出现在订阅号列表里。

如果说HBM在AI训练阶段至关重要,那么随着推理市场的全面开启,HBF正作为一种新的替代方案被讨论。
在深入技术分析之前,让我们先来看一下韩国科学技术院Kim Jung-ho教授提供的架构对比图。该图表清晰地说明了当前AI系统为何已达到瓶颈,以及HBF打算如何扭转这一局面。

左侧(无HBF):现有系统每次进行推理时,都需要GPU从远程NVMe SSD或网络存储中获取大量模型权重或数据。这一过程需经过PCIe交换机,导致严重的瓶颈和能源浪费。
右侧(有HBF):相比之下,HBF架构将大容量NAND直接集成到GPU封装内。这种设计将结构从“数据获取”转变为“就近存储使用”,显著减少了网络传输流量(卸载开销),并最大化了系统的能效。
最终,HBF不仅仅是一种内存,更是一项旨在将数据移动距离降至接近零的结构性创新。
结合Kim Jung-ho教授的提案以及英伟达下一代存储战略(包括ICMS),HBF的出现极有可能成为推动光互连生态系统扩展的重要催化剂,其影响远超单纯的NAND速度提升。本文将分析其技术背景及潜在受益企业。
HBF的技术定义
HBF是一种下一代封装概念,旨在将HBM的成功方案——通过硅通孔(TSV)和中介层技术实现的3D堆叠——应用于NAND闪存。其核心在于将垂直堆叠的芯片并行连接,从而同时实现大容量和高带宽。
结构特点:传统NAND封装主要采用线键合方式,而HBF则致力于在NAND芯片内部集成数千个TSV,显著缩短信号路径并提升并行处理能力。

性能目标:旨在实现比现有基于PCIe/NVMe的SSD高出数十倍的I/O带宽(即每秒TB级系统带宽),同时提供TB级容量——这是HBM架构难以达到的规模。

背景:为何选择HBF?(推理中的“记忆墙”)
HBF的兴起源于两个关键因素:LLM推理过程中遇到的KV缓存瓶颈,以及NVIDIA存储策略的转变。

KV缓存瓶颈:在处理长文本推理时,AI必须实时引用之前的对话数据。这些数据(KV缓存)规模巨大,若全部保留在昂贵的HBM(DRAM)上效率低下,而从标准SSD加载则会引入显著延迟。
性能差距:DRAM(纳秒级)与NAND(微秒级)之间的极端速度差异降低了系统效率。
ICMS(推理上下文内存存储):为解决这一问题,如NVIDIA等公司正在探索“分层内存存储”方案,该方案容量超过HBM,速度优于SSD。HBF是其中最具潜力的技术之一,最有可能满足这些需求。

HBF应用的潜在受益者(存储器领域)
如果HBF市场得以开启,成功将不再取决于简单的NAND生产产能,而是依赖于“先进封装”技术能力。然而,目前HBF仍处于技术概念阶段,而非具体产品阶段,应将其视为中期结构性变革,而非即时的性能驱动力。
(1)SanDisk:在2025年ISSCC大会上,SanDisk与Kioxia展示了其无与伦比的技术实力,宣布推出4.8 Gb/s超高速I/O和PI-LTT(电源隔离低压终端)技术。这些技术构成了可演进为HBF的闪存层的技术基础。他们是向学术界提出HBF概念并主导其标准化的“概念设计团队”。他们已将HBF定位为应对全球NAND市场低迷的下一代增长引擎,并正牵头开展研发工作。特别是SanDisk,在完成分拆后,正大力推动HBF作为其独立的人工智能内存解决方案。
(2)Kioxia:与SanDisk拥有超过20年的研发及制造合作,联合开发HBF核心技术。
(3)SK海力士:依托与SanDisk在标准化合作中验证的TSV和先进MR-MUF工艺技术,以及在HBM市场的主导地位,SK海力士正将这些技术优势移植至NAND领域。公司正在推进清晰的AI-NAND(AIN)路线图,计划于2026年下半年开始量产。其宣布将推出新一代AI-NAND(AIN)产品线,包括高带宽闪存(HBF)。
(4)三星电子:公司旨在通过将代工(合同制造)生产方法整合到存储器制造中,扩大与竞争对手之间的差距。公司计划将代工厂先进的14纳米级FinFET工艺应用于NAND逻辑(外设)部分。其涵盖代工-存储器-封装一体化的“AI一站式解决方案”能力,是一大核心优势。
HBF与光学之间的联系:带宽扩展与传输极限
HBF的采用极大地加剧了“数据引力”现象,即数据在特定位置高度集中。随着超高速IO接口实现每块NAND芯片4.8 Gb/s、每封装数TB/s的传输速率,瓶颈现已从“存储设备”转移到负责将存储数据传输至处理器(GPU/DPU)的“互连”环节。
(1) 电信号的物理限制(铜线):随着带宽增加,现有铜缆(如PCIe、NVLink等)的传输距离显著缩短。进入PCIe 6.0/7.0时代,铜缆的有效传输距离已降至数十厘米。信号完整性与散热问题已达到关键阈值,难以支持HBF在机架级距离上传输海量数据的需求。
(2) 能效难题:随着电信号传输距离增加,长距离数据传输的能耗呈指数级增长。随着HBF导致处理数据量(吞吐量)的激增,若固守现有方法,则会陷入一种悖论:大量电力被白白浪费在数据传输上,而关键计算任务却因电力不足而无法正常运行。
(3) 光学技术角色的拓展:
机架级通信:在配备HBF的存储服务器与GPU服务器之间实现高容量的数据传输。
光路CXL:当CXL接口在机架层面扩展以实现内存池化时,可克服距离限制的一种方式。
(4) 未来展望:随着HBF提升“存储”带宽,将需要采用CPO(共封装光学)或LPO(线性驱动光学)技术,以匹配“传输”带宽需求。
(总结/类比:HBF就像完全打开大坝的闸门。为防止数据泛滥并确保顺畅流动,必须通过加大直径的管道(即光学)来拓宽水道(传输网络))

光生态系统中的关键参与者
为实现HBF提供的4.8 Gb/s超高速I/O和TB/s带宽,且无系统损耗地传输数据,致力于突破现有铜缆限制的光互连企业正成为该生态系统中的核心受益者。
(1)Broadcom
重点聚焦:在光DSP和高速交换机市场处于绝对领先地位。
关键作用:通过其DSP芯片组将HBF高速光信号转换为数字信号,并通过Tomahawk 6(100 Tbps)交换机处理海量流量,构建HBF基础设施的“骨干”。其CPO(共封装光学)技术,即将光模块直接集成到ASIC芯片旁,对于实现HBF的能效目标至关重要。
(2) Marvell
关键点:近期以约32.5亿美元收购Celestial AI,转型为一家专注于光连接平台的企业。
关键角色:通过其核心自主研发的技术“光子织物”(Photonic Fabric),该公司正引领下一代互连标准,实现GPU与HBF的光集成,将数据中心中的存储和计算资源如同一个巨大的单芯片进行连接。
(3) POET Technologies
关键点:拥有自研光学中介层技术。
关键角色:是唯一能够低成本将光引擎直接集成到HBF堆叠旁的混合集成解决方案。该技术专注于减少芯片与模块之间的铜线段,以消除数据瓶颈,并相比现有方案显著提升功耗效率。
(4) Ayar Labs
主要特点:具备将“TeraPHY”光I/O芯片级组件直接嵌入芯片封装内的技术,而非将光模块置于外部。公司正在与驱动该技术的外部光源设备“SuperNova”共同构建生态系统。
核心作用:从芯片内部开始,通过光学方式启动从HBF到GPU的数据传输路径。通过替换现有的物理层(PHY),它有望将功耗降低至原来的十分之一,并将带宽密度提升至1000倍。
(5) Lightmatter
关键点:拥有“Passage”——一个多维互连平台,可实现芯片之间的光互联。
核心作用:将数万颗芯片整合为一个巨大的光神经网络。它不再将HBF的数据转换为电信号进行路由,而是直接以光的形式分配路径(光路由),从而实现接近零的传输延迟。
(6) Xscape Photonics
关键特点:具备高密度波长控制技术,可在单根光纤上同时传输数十种波长。
核心作用:通过将数据高速路的通道数(波长)扩展数十倍,极大提升传输效率,有效缓解因HBF“数据引力”造成的带宽瓶颈。
扩展生态系统
英伟达:HBF和ICMS生态系统的构建者。英伟达的GPUDirect存储(GDS)技术,可将HBF海量数据直接传输至GPU,绕过CPU;而BlueField DPU在管理数据传输负载方面也发挥着关键作用。如果HBF是硬件,那么英伟达则拥控制其运行的软件与网络能力。
韩美半导体/ ASMPT:先进封的“向下延伸效应”同样适用于NAND。与HBM类似,精密堆叠技术也是HBF的核心。这为继HBM设备之后,进一步增加对NAND TSV键合设备(如TC Bonders)和混合键合设备的需求创造了可能。
总结
HBF不仅仅是一种存储设备的演进,而应被理解为人工智能基础设施架构中的下一步发展,逐步实现“计算(GPU)—内存(HBM)—存储(HBF)—连接(光学)”的演进。
尽管HBF概念尚未被正式定义或采纳为国际标准,但2025年ISSCC会议上确认的技术现实——例如4.8 Gb/s的超高速I/O以及读取能耗效率提升29%——都表明了HBF的必然性。
考虑到Joungho Kim教授提出的新型架构、SanDisk/Kioxia所采取的战略举措,以及人工智能训练和推理对数据带宽需求呈指数级增长,HBF将成为一个关键的“主动层级”,在现有HBM速度与SSD容量之间架起桥梁。
如果HBF概念能够成为行业标准并占据市场地位,那么具备传输TB级数据能力的光互连技术,将成为生存所必需的基本前提。因此,审视光通信相关企业时,应采取长远视角,将其视为解决人工智能基础设施结构变革中数据传输瓶颈的核心基础设施资产,而非仅从短期主题角度看待。
原文链接:
https://photoncap.net/p/hbf-high-bandwidth-flash-and-optics
高端微信群介绍 | |
创业投资群 | AI、IOT、芯片创始人、投资人、分析师、券商 |
闪存群 | 覆盖5000多位全球华人闪存、存储芯片精英 |
云计算群 | 全闪存、软件定义存储SDS、超融合等公有云和私有云讨论 |
AI芯片群 | 讨论AI芯片和GPU、FPGA、CPU异构计算 |
5G群 | 物联网、5G芯片讨论 |
第三代半导体群 | 氮化镓、碳化硅等化合物半导体讨论 |
存储芯片群 | DRAM、NAND、3D XPoint等各类存储介质和主控讨论 |
汽车电子群 | MCU、电源、传感器等汽车电子讨论 |
光电器件群 | 光通信、激光器、ToF、AR、VCSEL等光电器件讨论 |
渠道群 | 存储和芯片产品报价、行情、渠道、供应链 |

< 长按识别二维码添加好友 >
加入上述群聊

带你走进万物存储、万物智能、
万物互联信息革命新时代
