为什么HBF可以解决AI“内存墙”？

点击蓝字

关注我们

因为公众号平台更改了推送规则。记得点下右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送，就会第一时间出现在订阅号列表里。

“内存墙”一词最早于20世纪90年代初提出，用来描述计算机性能中的瓶颈：处理器与内存（尤其是DRAM）之间的速度差距。这一概念迅速渗入工程术语，将DRAM视为拖累计算效率的落后技术。如今，尽管“内存墙”依然存在，但在AI时代，这一术语已获得新的含义——DRAM及其基于DRAM的HBM正努力满足大LLM日益增长的存储需求。

在过去30年中，DRAM通过缓存层次、预取和内存交织等创新技术满足了性能扩展的需求。设计人员开发了更大、更快的片上缓存，并引入了在数据实际需要前进行预测和预加载的技术。然而，这些技术并未解决容量扩展的根本问题。

当今快速发展的AI模型正对传统存储架构的容量扩展能力造成前所未有的压力，以应对日益增长的数据存储需求。迹象随处可见：DRAM和HBM的设计与制造成本不断上升，能耗和散热问题加剧，可扩展性选择也日益受限。

AI推理建模重新定义了数据检索模式和优先级 

随着LLM的参数量从数十亿增长到数万亿，基于DRAM的内存（如HBM和GDDR）面临诸多限制。与此同时，受复杂提示、检索增强生成（RAG）、链式思维推理以及用户特定数据驱动的AI推理上下文规模，往往需要比模型本身更大的KV缓存。

目前用作系统内存的DRAM架构在AI推理工作负载中已不再适用，因为这类工作负载主要以读取为主，并且由于可预测的内存访问模式，能够支持预取和缓冲，因此对延迟容忍度较高。这使得HBM仅关注原始带宽的狭窄特性，无法满足同时需要容量和带宽的工作负载需求。

这些挑战凸显了需要开发新的内存架构，以专门优化容量和带宽来支持AI推理。与依赖于一致且利于缓存的访问模式不同，AI推理模型处理的是高度变化且多维的数据类型。AI推理的内存访问具有确定性、预取友好性，并具备较大的粒度。所有这些因素使得缓存层次结构的重要性远低于原始的顺序带宽。

由此产生的AI计算范式并非通过暴力穷举内存带宽来实现成功，而是通过优化数据的获取时机和方式来达成。在此背景下，它能够采用专为高容量和顺序带宽设计的替代性存储技术，以更智能的方式解决这一问题。新的存储挑战在于优化流动数据的组合，而非单纯追求速度的线性提升。

历史上，数据中心设计者通过将AI推理任务分配到多个昂贵的加速器上，来解决计算能力与内存需求之间不匹配的问题。这种技术通常会浪费计算资源，但当这些额外的成本和功耗在拥有大量用户、可批量处理请求的大规模数据中心中摊薄后，便显得合理。只有当分布式处理应用于用户基数有限的小型企业，或服务于不同客户的大型数据中心时，批量处理才变得低效。

一种新型的AI内存方案 

随着AI推理工作负载的规模和复杂性不断增加，HBF逐渐成为一种替代选择。与昂贵、耗电且容量受限的DRAM和HBM不同，HBF充分利用了NAND闪存的高密度优势。通过采用堆叠技术和晶圆级封装，例如CMOS直接贴合阵列（CBA）技术，这些新兴架构在存储容量方面已超越HBM。

尽管HBF的延迟高于DRAM，但AI推理工作负载越来越受带宽限制，而非对延迟敏感。这些新型存储器设计利用高密度NAND技术，通过多个存储单元阵列的并发访问，实现大粒度读取操作的高带宽性能。这使其非常适合LLM存储和高读取密集型推理任务。

在这些高带宽内存使用环境中，高功耗导致高温下的热稳定性成为一项非常重要的要求。基于NAND技术的HBF相比DRAM，在稳定性方面更具优势，更适合此类环境。此外，与标准NAND闪存相比，HBF具有非易失性和更强的耐久性，使其能够用于持久性KV缓存数据，以模拟长期存储功能。

随着AI计算需求的持续增长，仅依赖DRAM和HBM可能会限制架构创新。HBF为数据中心和边缘AI设计者提供了一种可扩展且高效的存储替代方案，能够满足AI不断变化的需求，其性能不再由延迟决定，而是由基于推理的数据协同效率所决定。

原文链接：

https://www.eetimes.com/massive-ai-storage-demand-creates-a-new-memory-wall/

< 长按识别二维码添加好友 >

加入上述群聊

长按并关注

带你走进万物存储、万物智能、

万物互联信息革命新时代

微信号：SSDFans