公众号记得加星标⭐️,第一时间看推送不会错过。

人工智能的爆炸式增长正在改变半导体行业,而这一点在存储器领域尤为明显。人工智能的训练和推理工作负载本质上是内存密集型的,这推动了对先进DRAM架构、高带宽内存(HBM)和企业级NAND闪存的空前需求。尽管NVIDIA的GPU占据了新闻头条,但事实上,如果没有大量高性能内存与计算架构紧密集成,人工智能加速器就无法高效运行。因此,存储器供应商正在成为人工智能热潮的最大长期受益者之一。
此次变革的核心是HBM,这是一种3D堆叠式DRAM技术,与传统的DDR内存相比,它能提供更高的带宽和更低的功耗。HBM采用硅通孔(TSV)和先进的封装技术,将DRAM芯片垂直堆叠,从而实现每秒TB级的内存带宽。NVIDIA的H100和即将推出的Blackwell平台等AI加速器,在大型语言模型(LLM)训练过程中,高度依赖HBM3和HBM3E将数据馈送到数千个并行GPU核心。
这一趋势极大地改变了内存市场的竞争格局。SK海力士已成为HBM的主导供应商,据报道已占据NVIDIA HBM3和HBM3E供应链的领先份额。该公司早期对TSV技术、先进封装和散热管理的投资,使其在人工智能需求加速增长时获得了关键优势。SK海力士目前正积极提升HBM3E的产能,预计仍将是下一代人工智能系统的重要供应商。
全球最大的存储器制造商三星电子也在大力投资HBM产能和先进封装技术。三星的一体化半导体模式——涵盖逻辑电路、晶圆代工、封装和存储器——使其在人工智能基础设施领域拥有强大的竞争力。尽管三星在某些人工智能平台的HBM认证方面最初落后于SK海力士,但凭借其规模优势、工艺技术领先地位以及快速扩张产能的能力,它仍然是该领域长期发展的重要参与者。
美光科技已成为人工智能领域的又一主要受益者。美光科技过去被认为受周期性波动影响较大,且更依赖个人电脑市场,如今却正利用其先进的DRAM产品组合和HBM路线图,积极拓展超大规模人工智能部署业务。该公司的HBM3E产品正被应用于下一代人工智能加速器的设计中,管理层也多次表示,HBM的需求在未来很长一段时间内都将超过供应。此外,美光科技在企业级DRAM和数据中心固态硬盘领域的强大地位,也使其在人工智能基础设施支出方面拥有广泛的影响力。
人工智能工作负载正以惊人的速度增加每台服务器的内存容量。传统的云服务器通常需要几百GB的DRAM,但配备多个GPU的人工智能服务器可能需要数TB的高带宽内存和DDR5 DRAM。单个NVIDIA HGX平台可以包含八个通过NVLink连接的GPU,并由庞大的HBM内存池提供支持。这种架构显著增加了每个机架的DRAM消耗量,并推高了高端内存产品的平均售价。
由于人工智能服务器的部署,DDR5 的普及速度也在加快。与 DDR4 相比,DDR5 提供更高的带宽、更佳的能效和更大的模块密度,这些对于数据中心的人工智能工作负载至关重要。随着超大规模数据中心升级基础设施以支持生成式人工智能服务,包括三星、SK 海力士和美光在内的供应商都从这一转型中受益。
除了DRAM之外,NAND闪存供应商也将受益于人工智能的蓬勃发展。生成式人工智能需要海量数据集进行模型训练和推理,这推动了对高容量企业级固态硬盘的需求。人工智能数据中心依赖高速存储系统来传输和管理PB级的结构化和非结构化数据。因此,铠侠(Kioxia)、西部数据(Western Digital)、三星(Samsung)、美光(Micron)和Solidigm等公司都看到了市场对针对超大规模环境优化的企业级NAND解决方案日益增长的需求。
另一项关键技术趋势是先进封装。人工智能加速器越来越多地采用芯片组架构和异构集成,这意味着内存必须与计算芯片紧密耦合。这不仅为内存供应商创造了机遇,也为台积电、安靠和日月光等封装领域的领导者带来了机遇。台积电的CoWoS封装产能尤为重要,因为它能够将HBM堆栈与人工智能GPU和加速器集成在一起。
人工智能的蓬勃发展也正在缓解内存市场的一些历史周期性波动。过去,DRAM 和 NAND 的需求严重依赖智能手机和个人电脑,导致严重的供过于求。人工智能基础设施的支出引入了新的结构性需求驱动因素,这与超大规模云的扩张、企业级人工智能的采用以及自主人工智能计划密切相关。这种转变可能会支撑内存生态系统中更强劲的长期定价和更高的资本投资。
展望未来,包括HBM4、MRAM、CXL附加内存扩展和内存内处理架构在内的下一代内存技术可能会进一步重塑整个行业格局。人工智能模型持续呈指数级增长,需要更大的内存池和更快的互连速度。随着计算性能越来越受限于内存带宽和延迟而非原始处理能力,内存供应商正从辅助角色转变为人工智能时代的战略推动者。
总而言之:人工智能革命正逐渐演变成一场与计算同样重要的存储革命。能够提供高带宽、低功耗和高度集成存储解决方案的公司,很可能在未来十年内占据半导体行业增长的绝大部分份额。
人工智能的爆炸式增长正在改变半导体行业,而这一点在存储器领域尤为明显。人工智能的训练和推理工作负载本质上是内存密集型的,这推动了对先进DRAM架构、高带宽内存(HBM)和企业级NAND闪存的空前需求。尽管NVIDIA的GPU占据了新闻头条,但事实上,如果没有大量高性能内存与计算架构紧密集成,人工智能加速器就无法高效运行。因此,存储器供应商正在成为人工智能热潮的最大长期受益者之一。
此次变革的核心是HBM,这是一种3D堆叠式DRAM技术,与传统的DDR内存相比,它能提供更高的带宽和更低的功耗。HBM采用硅通孔(TSV)和先进的封装技术,将DRAM芯片垂直堆叠,从而实现每秒TB级的内存带宽。NVIDIA的H100和即将推出的Blackwell平台等AI加速器,在大型语言模型(LLM)训练过程中,高度依赖HBM3和HBM3E将数据馈送到数千个并行GPU核心。
这一趋势极大地改变了内存市场的竞争格局。SK海力士已成为HBM的主导供应商,据报道已占据NVIDIA HBM3和HBM3E供应链的领先份额。该公司早期对TSV技术、先进封装和散热管理的投资,使其在人工智能需求加速增长时获得了关键优势。SK海力士目前正积极提升HBM3E的产能,预计仍将是下一代人工智能系统的重要供应商。
全球最大的存储器制造商三星电子也在大力投资HBM产能和先进封装技术。三星的一体化半导体模式——涵盖逻辑电路、晶圆代工、封装和存储器——使其在人工智能基础设施领域拥有强大的竞争力。尽管三星在某些人工智能平台的HBM认证方面最初落后于SK海力士,但凭借其规模优势、工艺技术领先地位以及快速扩张产能的能力,它仍然是该领域长期发展的重要参与者。
美光科技已成为人工智能领域的又一主要受益者。美光科技过去被认为受周期性波动影响较大,且更依赖个人电脑市场,如今却正利用其先进的DRAM产品组合和HBM路线图,积极拓展超大规模人工智能部署业务。该公司的HBM3E产品正被应用于下一代人工智能加速器的设计中,管理层也多次表示,HBM的需求在未来很长一段时间内都将超过供应。此外,美光科技在企业级DRAM和数据中心固态硬盘领域的强大地位,也使其在人工智能基础设施支出方面拥有广泛的影响力。
人工智能工作负载正以惊人的速度增加每台服务器的内存容量。传统的云服务器通常需要几百GB的DRAM,但配备多个GPU的人工智能服务器可能需要数TB的高带宽内存和DDR5 DRAM。单个NVIDIA HGX平台可以包含八个通过NVLink连接的GPU,并由庞大的HBM内存池提供支持。这种架构显著增加了每个机架的DRAM消耗量,并推高了高端内存产品的平均售价。
由于人工智能服务器的部署,DDR5 的普及速度也在加快。与 DDR4 相比,DDR5 提供更高的带宽、更佳的能效和更大的模块密度,这些对于数据中心的人工智能工作负载至关重要。随着超大规模数据中心升级基础设施以支持生成式人工智能服务,包括三星、SK 海力士和美光在内的供应商都从这一转型中受益。
除了DRAM之外,NAND闪存供应商也将受益于人工智能的蓬勃发展。生成式人工智能需要海量数据集进行模型训练和推理,这推动了对高容量企业级固态硬盘的需求。人工智能数据中心依赖高速存储系统来传输和管理PB级的结构化和非结构化数据。因此,铠侠(Kioxia)、西部数据(Western Digital)、三星(Samsung)、美光(Micron)和Solidigm等公司都看到了市场对针对超大规模环境优化的企业级NAND解决方案日益增长的需求。
另一项关键技术趋势是先进封装。人工智能加速器越来越多地采用芯片组架构和异构集成,这意味着内存必须与计算芯片紧密耦合。这不仅为内存供应商创造了机遇,也为台积电、安靠和日月光等封装领域的领导者带来了机遇。台积电的CoWoS封装产能尤为重要,因为它能够将HBM堆栈与人工智能GPU和加速器集成在一起。
人工智能的蓬勃发展也正在缓解内存市场的一些历史周期性波动。过去,DRAM 和 NAND 的需求严重依赖智能手机和个人电脑,导致严重的供过于求。人工智能基础设施的支出引入了新的结构性需求驱动因素,这与超大规模云的扩张、企业级人工智能的采用以及自主人工智能计划密切相关。这种转变可能会支撑内存生态系统中更强劲的长期定价和更高的资本投资。
展望未来,包括HBM4、MRAM、CXL附加内存扩展和内存内处理架构在内的下一代内存技术可能会进一步重塑整个行业格局。人工智能模型持续呈指数级增长,需要更大的内存池和更快的互连速度。随着计算性能越来越受限于内存带宽和延迟而非原始处理能力,内存供应商正从辅助角色转变为人工智能时代的战略推动者。
总而言之:人工智能革命正逐渐演变成一场与计算同样重要的存储革命。能够提供高带宽、低功耗和高度集成存储解决方案的公司,很可能在未来十年内占据半导体行业增长的绝大部分份额。
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
END
今天是《半导体行业观察》为您分享的第4435内容,欢迎关注。
推荐阅读
★
★
★
★
★
★
★
★

加星标⭐️第一时间看推送


