三星推进LPDDR5X-PIM实用化, 存内计算为AI推理缓解“内存墙”

半导体产业研究 2026-08-27 18:11
三星推进LPDDR5X-PIM实用化, 存内计算为AI推理缓解“内存墙”图1

三星电子在Hot Chips 2026上进一步推进存内计算(Processing-in-Memory,PIM)从概念验证走向产品化。公司展示了面向AI推理的LPDDR5X-PIM实物芯片、运行数据以及尽量兼容现有LPDDR5X系统的设计方案。在三星内部测试中,搭载LPDDR5X-PIM的边缘AI加速器SoC运行Llama 3.1 8B模型时,单次运行时间由12.3秒缩短至5.4秒,吞吐量由每秒27.0个token提高至81.3个token。更值得关注的是,三星并未把这项技术包装成HBM的直接替代者,而是试图通过把部分计算搬到内存内部,减少处理器与DRAM之间的反复数据搬移,为功耗、成本和外部带宽都受限的AI推理场景增加一条新的内存路线。

三星推进LPDDR5X-PIM实用化, 存内计算为AI推理缓解“内存墙”图2

三星电子LPDDR5X产品示意图。LPDDR5X-PIM在低功耗内存中加入近数据计算能力。

图片来源:Samsung

三倍吞吐量背后:性能数据亮眼,但仍属于内部验证

本次披露最直观的变化来自推理性能。在相同的三星边缘AI加速器SoC上,传统LPDDR5X完成测试需要12.3秒,LPDDR5X-PIM缩短至5.4秒,相当于2.28倍加速;吞吐量则从27.0 tokens/s提升至81.3 tokens/s,约为原来的3.01倍。在LPDDR5X-9600工作点上,三星还给出了最高614GB/s的PIM内部处理带宽,而传统DRAM侧带宽为76.8GB/s,内部处理路径的带宽差距达到8倍。

不过,这组数字不能直接理解为LPDDR5X-PIM把外部内存接口带宽提升到了614GB/s。614GB/s反映的是内存内部PIM计算路径能够并行处理的数据规模,其价值来自“数据就地计算”,而不是把所有数据以更高速率送出芯片。对AI推理而言,大量矩阵乘加运算需要反复读取模型权重,如果权重已经位于DRAM内部,就可以让部分乘加运算在存储阵列附近完成,从源头减少跨接口的数据流量。

新闻稿还必须看到测试的限制。原文明确指出,这些结果属于三星内部的初步测量,而非独立第三方基准测试;传统LPDDR5X与PIM运行生成的输出结果存在差异,三星仍在进行精度优化。因此,2.28倍和3.01倍更适合视为PIM架构在特定模型、量化方式和硬件配置下的潜力证明,而不能直接外推到所有AI推理工作负载。

PIM的核心逻辑:减少数据搬移,而不是单纯堆高外部带宽

传统冯·诺依曼架构把计算与存储分开,处理器需要不断从DRAM读取权重和中间数据,再把结果写回存储器。当AI模型规模扩大后,算术单元的速度提升往往快于内存供数能力,系统大量时间和能耗消耗在“搬数据”而不是“做计算”上,这正是行业长期讨论的“内存墙”。

三星LPDDR5X-PIM的做法,是在LPDDR5X DRAM bank附近布置可执行乘加(MAC)等运算的逻辑单元,让部分AI推理运算在数据所在位置附近完成。官方产品资料显示,该方案面向16GB容量,支持FP16/8和INT16/8/4等数据格式,并以每个bank配置PIM能力的方式提升并行度。对于以权重读取为主、计算模式相对固定的推理任务,这种架构能够降低主处理器与内存之间的数据往返次数。

这也意味着PIM的收益具有明显的工作负载依赖性。训练任务、超大模型或需要持续高速交换数据的场景,仍然需要HBM级别的外部带宽;而边缘AI、AI PC、部分客户端推理和特定服务器推理负载,则可能更适合通过“少搬数据”提升有效吞吐量。PIM不是把所有内存问题一次性解决,而是在AI内存层级中增加一种针对特定负载的计算方式。

兼容性可能比峰值性能更决定商业化速度

PIM技术并不新。三星早在2021年就展示过Aquabolt-XL HBM2-PIM,并先后探索HBM-PIM、AXDIMM以及LPDDR-PIM。过去几年真正阻碍PIM大规模商业化的,除了成本和良率,还有系统改造难度:如果主机控制器、软件栈、内存协议和封装都需要针对PIM重新设计,平台厂商就必须承担较高的迁移与验证成本。

这次LPDDR5X-PIM的一个关键卖点正是“尽量少改系统”。原文显示,该器件保留JEDEC标准的561-ball封装,并通过三星Address Align Mode把传统DRAM地址映射为PIM指令,使其能够在常规DRAM控制器框架下工作。这种思路与先进制程领域强调设计兼容性的逻辑相似:新技术能否进入量产,不只看理论性能,还要看客户是否可以在不推翻现有平台的前提下导入。

三星目前还提供模拟器、数据手册和SDK,并把下一步LPDDR6-PIM(LP6-PIM)与JEDEC规范推进结合起来。标准化对PIM尤其重要,因为客户不愿被单一内存厂商锁定。如果未来不同供应商能够围绕共同的PIM指令、控制器和软件接口开发产品,系统厂商才更有动力把PIM作为长期平台能力,而不是某一代芯片的专用功能。

HBM成本上升,为PIM寻找新的经济空间

三星选择在2026年再次强调PIM,与AI内存成本快速上升密切相关。原文援引Hot Chips现场资料称,HBM在AI芯片组件支出中的占比由2024年第一季度约52%升至2025年第四季度约63%。这一比例并非所有AI芯片的统一成本结构,但它反映出一个明确趋势:随着AI系统加大HBM容量和堆叠层数,存储正在吸收越来越多的硬件预算。

美光在同届Hot Chips上给出的制造侧数据进一步解释了成本压力。按相同容量计算,HBM所需晶圆面积约为DDR5的3倍,原因包括更多bank、更宽的数据通路、更复杂的供电以及用于堆叠互连的硅通孔(TSV)。随着pin速率、bank数量和堆叠高度继续增加,这种“硅面积惩罚”并没有明显收窄。换言之,HBM提供极高带宽的同时,也天然付出了更高的晶圆、封装和测试成本。

更棘手的是,计算性能仍在比内存带宽更快地增长。即使HBM每一代都提高带宽,GPU和AI加速器的算力扩张仍可能继续拉大供数缺口。因此,行业解决“内存墙”不能只依靠更贵、更宽的接口。PIM提供的另一种思路,是通过减少需要穿过接口的数据量来提高有效带宽,从而在部分推理场景下缓解对HBM的绝对依赖。

LPDDR5X-PIM不是HBM替代品,而是AI内存层级的补充

把LPDDR5X-PIM写成“取代HBM”并不准确。HBM拥有远高于LPDDR的外部带宽和并行能力,前沿大模型训练、高端GPU推理以及需要持续高吞吐的数据中心负载,仍将高度依赖HBM。三星此次方案的价值更窄也更现实:在不需要HBM级外部带宽的推理任务中,把部分运算放进内存,降低数据搬移后,系统可能用更低的接口成本获得更高的实际推理效率。

功耗同样需要从系统级看待。PIM单元工作时可能带来更高的瞬时功耗,但如果它减少了DRAM与主处理器之间的大量数据传输,整体能耗仍可能下降。最终优势取决于模型结构、运算比例、内存访问模式、PIM利用率以及散热条件,因此仍需要在真实AI PC、边缘设备和服务器平台上用完整系统功耗数据验证。

从GAIA传闻到实际客户,商业化路径正在浮现

三星在Hot Chips演讲中只称测试平台为“边缘AI加速器SoC”,并没有正式点名GAIA。ZDNet Korea援引产业消息称,该SoC可能是三星System LSI正在开发的AI PC加速器GAIA,采用三星晶圆代工4纳米制程,并据报已向联想和惠普提供原型进行评估,最快可能在2027年进入量产。这部分信息尚未获得三星正式确认,因此不能把GAIA与LPDDR5X-PIM的组合写成已经确定的商业产品。

与此同时,PIM的潜在商业化并不只依赖GAIA。韩国AI芯片公司DeepX今年6月已公开表示,其计划于2027年推出的DX-M2将采用三星LPDDR5X-PIM,后续DX-M3则计划使用LPDDR6-PIM。虽然这仍不代表大规模市场需求已经形成,但它说明PIM正在从三星内部验证逐步进入外部客户的产品规划。

目前三星尚未公布LPDDR5X-PIM的正式量产时间、客户数量和出货规模。因此,2026年的关键进展更准确地说是“从可运行硅片走向产品化准备”,而不是已经完成商业化。下一步需要观察的指标包括:第三方模型精度验证、系统级能耗、控制器与软件兼容性、JEDEC标准进度,以及首批客户能否按计划进入量产。

产业观察:AI内存将从单一带宽竞争转向分层架构竞争

三星LPDDR5X-PIM反映出AI内存竞争正在发生结构变化。HBM仍然是高端AI加速器不可替代的核心资源,但其高成本、高晶圆消耗和复杂封装意味着,所有推理任务都使用HBM并不一定具备最佳经济性。随着AI从云端训练扩展到AI PC、手机、机器人、汽车和边缘设备,不同场景需要的内存容量、带宽、功耗和成本组合正在快速分化。

未来更可能形成多层次的AI内存体系:前沿训练继续依赖HBM,高性能服务器结合HBM与DDR,客户端和边缘推理则可能增加LPDDR-PIM等近数据计算方案。在这种体系下,竞争不再只是“谁的带宽更高”,而是谁能把计算位置、数据移动、内存协议、封装和软件栈组合成更低的总拥有成本。

对三星而言,PIM还有额外的战略意义。三星同时拥有DRAM、系统LSI、晶圆代工和先进封装能力,能够在处理器、内存与制造之间进行联合优化。如果LPDDR5X-PIM能够在真实产品中证明性能、精度、功耗和生态兼容性,它可能成为三星把存储器从标准化器件向系统级计算平台延伸的重要抓手。但在客户、标准和量产规模真正明确之前,PIM仍应被视为AI内存层级中的新兴补充,而不是对HBM路线的替代。

原文标题:Hot Chips 2026: Samsung advances LPDDR5X-PIM as HBM costs mount
原文媒体:DIGITIMES
         







三星推进LPDDR5X-PIM实用化, 存内计算为AI推理缓解“内存墙”图3
三星推进LPDDR5X-PIM实用化, 存内计算为AI推理缓解“内存墙”图5

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI 内存 三星
more
长江存储激进扩产剑指全球第一,三星产能调配成最大变数
三星P系列移动SSD亮相科隆展,USB4接口突破带宽瓶颈
研报 | 三星电机消费级X5R产品价格调涨25%至30%,开启MLCC产业上升周期
让Claude改报错,它却把红灯换成了黄灯!三星芯片验证,AI三次闯祸
三星晶元代工大幅涨价:中国客户涨幅最大,美国客户优先供货!
三星的晶圆代工路线图解读
Anthropic与三星拟开发2nm定制AI芯片!
三星手机接连发生起火事故,印度与青岛两起案例引发关注
存储涨价潮下售后乱象丛生:三星铠侠厚道,海力士金士顿“吃相”难看
三星 Exynos 2700现身数据库,超大核主频达 4.24GHz
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号