因为公众号平台更改了推送规则。记得点右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送，就会第一时间出现在订阅号列表里。
DRAM是人工智能内存的关键支柱，但它并非人工智能数据中心内存架构中唯一的关键组件。
现有的内存技术正在整个AI堆栈中重新调整布局，以在容量、延迟和功耗之间取得平衡。
随着高带宽内存（HBM）被大量采用以满足AI需求，最初为智能手机和客户端设备开发的内存技术，例如低功耗DRAM（LPDDR）和SOCAMM，也正因每瓦性能成为数据中心的重要指标以及推理工作负载的增长而逐渐在堆栈中占据一席之地。
如果资金和供应不是问题，HBM就会无处不在。但现实情况是，内存和存储存在多个层级，价格与性能之间需要权衡取舍。
低功耗内存正逐步进入主流应用
LPDDR因其低功耗、足够高的带宽以及紧凑的设计，最初专为电池供电设备（如智能手机）而设计。这些特性同样使其在AI数据中心中备受青睐。
JEDEC即将推出的LPDDR6更新版本将引入多项新功能，以应对LPDDR在AI数据中心日益增长的普及需求，使该内存标准的应用范围从移动平台扩展至特定的数据中心和加速计算工作负载，支持对能效高、容量大的内存有需求的场景。
结合SOCAMM封装形式，LPDDR能够在靠近CPU的位置提供更高的内存容量和能效，有效缓解大模型中令牌处理密集带来的“内存墙”问题，同时降低运行成本和散热压力。
SOCAMM模块将高密度的LPDDR芯片集成于紧凑且易于维护的模块中，相比传统的RDIMMs，显著提升了每插槽的容量和带宽，从而支持更大的KV缓存，并减少推理与检索场景中的片外数据往返次数。
与标准DDR5 RDIMM相比，SOCAMM的功耗仅为三分之一，且更易于堆叠使用。其结果是推理和许多生产级AI工作负载的每瓦性能更优。
美光最新推出的256GB SOCAMM专为高密度、可维护的服务器构建而设计，相比传统RDIMM，支持更高的每CPU内存容量。该产品采用美光1-gamma DRAM工艺和单片32Gb晶圆，通过将KV缓存从HBM卸载，从而提升容量、改善能效，并缩短AI推理的首次令牌生成时间。
“数据中心中低功耗DRAM的机会非常高，”美光公司云存储产品副总裁兼总经理Praveen Vaidyanathan在一次简报会上表示，“有一些应用场景非常契合该产品所提供的功能特性。”
这种容量的提升很重要，因为人工智能的工作负载正逐渐向推理方向转移，响应时间和内存占用已成为核心设计限制，而内存和计算资源需要协同工作以满足这些应用的需求。
混合专家模型、多模态AI以及代理系统等新兴工作负载正在增加对靠近计算的内存的需求，同时长上下文窗口也变得越来越普遍。“这里的内存带宽至关重要。”
他补充说，人工智能系统正越来越多地围绕合适的内存组合进行优化。“我们必须持续关注效率，无论是性能、容量还是功耗。”
HBM无法包揽一切
美光认为SOCAMM不会取代HBM，而是位于更广泛的内存层级结构中，随着推理需求的增长，不同层级的内存将承担不同的角色。“热点KV缓存仍保留在HBM中，温热KV缓存保留在低功耗DRAM中，而冷数据KV缓存则实际转移到快速存储中，”Vaidyanathan表示。
Objective Analysis的首席分析师Jim Handy表示，LPDDR和SOCAMM之所以在数据中心逐渐受到青睐，是因为其具备大容量和快速访问时间，而不是因为它们专为AI设计。
与此同时，HBM需求旺盛，这得益于DRAM的堆叠。“由于人工智能，HBM的需求量大，这自然也给DRAM带来了压力。”
他说，超大规模运营商愿意为更高的效率付费，因为他们会计算电力和整体系统成本——每瓦性能是决定性因素，尤其是当人工智能消耗了数据中心支出的很大一部分时。“如果我们使用这种更昂贵的组件，就能减少一定的电力消耗。”
Rambus也认为SOCAMM在数据中心中具有重要地位。该公司最近宣布推出基于LPDDR的SOCAMM2芯片组，这是其计划推出的基于LPDDR的服务器模块芯片组家族中的首款产品，旨在支持未来的AI系统。
正如美光公司一样，Rambus也在努力构建内存层次结构，Rambus的联合创始人兼杰出发明家Steve Woo表示：“从训练方面来看，HBM是当前主要选择——人们正在使用大型基础模型。但在推理阶段，情况则有所不同。”
Woo指出，AI内存正越来越多地成为“适配性”的问题，而不仅仅是速度问题。当推理任务时，无需为HBM这类高性能内存投入高昂成本，因为GDDR和DDR等更低成本的选项已足够。“AI有不同层次和能力，不同的解决方案会根据你的预算、设备规模以及模型大小而变得更有意义。”
这种转变至关重要，因为最大的AI工作负载正变得过大，无法仅依赖单一内存层级来承载。内存分层技术意味着GPU存储最频繁访问的数据，而其他数据则可被下传至SSD。
Woo表示，功耗也是关键限制因素。他指出，在高性能GPU上，超过一半的功耗用于在内存之间来回传输数据，因此架构、互连方式以及诸如CXL协议等技术正受到广泛关注。
对Woo而言，经济因素与技术因素同等重要。内存选择日益反映出谁在为性能买单、他们愿意投入多少成本，以及工作负载是高价值型还是价格敏感型。
AI决定了内存层次结构
这些现实迫使数据中心重新思考内存，将其视为一个分层系统，而非单一高速内存池。
英飞凌科技内存业务副总裁兼总经理Sandeep Krishnegowda表示，解决内存瓶颈问题的关键，并非简单地增加某一类设备，而是需要多层级内存，以确保在AI堆栈中实现成本、功耗和持久性的平衡。
HBM显然处于这一层级的顶端，但SRAM在服务对延迟最敏感的工作负载方面也发挥着作用，而DRAM、CXL共享内存和SSD则在上下文保留、配置和模型存储方面承担更广泛的角色。“关于将内存拆分为计算机架的讨论非常热烈。”
他还补充说，NOR闪存可能是人工智能时代被忽视最多的关键技术之一，指出它在英伟达GB200机架中以不同密度广泛存在。“在AI环境下，NOR非常适合存储启动代码以及这些服务器机架的初始化信息。”
Krishnegowda 还强调了NOR在安全方面的作用，即通过存储密钥和证书来验证硬件是否遭到篡改。“这使其在该领域真正成为一种硬件锚点。我认为目前在AI数据中心中，NOR的应用场景非常广泛。”
持久性存储找到其位置
MRAM制造商Everspin Technologies的全球销售副总裁Sean Dougherty表示，随着人工智能向边缘扩展，数据中心、网络以及边缘设备都需要持续内存支持。他指出，离散式MRAM在边缘AI中可能发挥重要作用，通过允许更多推理运算在本地完成，从而缓解数据中心的内存瓶颈。
他表示，尽管MRAM目前并不适用于大型服务器机房（因为现有系统已广泛采用HBM、DRAM和存储设备），但它能有效解决边缘端的实际问题。“能够在断电后恢复，并保持与断电前完全相同的运行环境，这一点极为重要。”
Dougherty还提到，MRAM具备原地执行的能力，是许多边缘嵌入式AI系统的关键优势，相比NOR闪存，其写入时间显著提升。
Everspin最近推出的UNISYST MRAM，采用高密度非易失性架构，将代码存储与数据存储统一，专为边缘AI、工业应用及关键任务设计而打造。该新产品系列采用统一的代码与数据架构，将传统的配置存储与更高密度的持久化存储相结合，从而将MRAM扩展至传统的NOR闪存应用中。
Dougherty表示，与NOR闪存需要10到20分钟相比，UNISYST可将FPGA应用中的代码编写时间缩短至几秒钟。他指出，这一差距意义重大，不仅体现在启动和更新延迟上，也简化了磨损均衡相关的代码设计。“写入时间和写入带宽正逐渐成为整体系统架构中非常关键的一部分。”
MRAM的SRAM类似耐久性和非易失性，使其成为持久化存储的理想候选方案，因为人工智能工作负载正不断向边缘设备和网络化设备迁移，而这些场景中电源中断和延迟最为关键。
他提到，这种权衡在于软件必须重新编写，将对延迟敏感的状态放置于本地DRAM上，而将带宽密集的数据集存放在共享内存中。“你需要将需要高延迟的任务绑定到本地DRAM，其余所有任务则通过CXL进行调度。”
原文链接：
https://www.eetimes.com/dynamic-ai-demands-drive-memory-diversity/
高端微信群介绍 | |
创业投资群 | AI、IOT、芯片创始人、投资人、分析师、券商 |
闪存群 | 覆盖5000多位全球华人闪存、存储芯片精英 |
云计算群 | 全闪存、软件定义存储SDS、超融合等公有云和私有云讨论 |
AI芯片群 | 讨论AI芯片和GPU、FPGA、CPU异构计算 |
5G群 | 物联网、5G芯片讨论 |
第三代半导体群 | 氮化镓、碳化硅等化合物半导体讨论 |
存储芯片群 | DRAM、NAND、3D XPoint等各类存储介质和主控讨论 |
汽车电子群 | MCU、电源、传感器等汽车电子讨论 |
光电器件群 | 光通信、激光器、ToF、AR、VCSEL等光电器件讨论 |
渠道群 | 存储和芯片产品报价、行情、渠道、供应链 |
< 长按识别二维码添加好友 >
加入上述群聊
带你走进万物存储、万物智能、
万物互联信息革命新时代
