芯片初创公司，攻破内存墙

人工智能革命催生了对训练前沿模型的处理能力的巨大需求，而英伟达正用其高端 GPU 来满足这一需求。然而，2025 年人工智能突然转向推理和代理人工智能，暴露出内存管道方面的缺口，d-Matrix 希望通过其创新的 3D 堆叠数字内存计算 (3DIMC) 架构来解决这个问题，该架构已于上周在 Hot Chips 大会上进行了展示。

该公司由首席执行官 Sid Sheth 和首席技术官 Sudeep Bhoja 于 2019 年创立，两人均曾担任高速互连开发商 Inphi Corp 的高管，该公司于 2020 年被 Marvell 以 100 亿美元收购。其目标是开发内存计算芯片级技术，为 AI 推理带来比传统 DRAM 带宽更大的内存，且成本远低于高带宽内存(HBM)。

Sheth 在领英上发帖称：“我们相信，AI 推理的未来不仅取决于对计算的重新思考，也取决于对内存本身的重新思考。我们正在为新的内存计算范式 (3DIMC) 铺平道路，该范式使我们的 DIMC 平台能够持续扩展，突破内存瓶颈，同时又不牺牲内存容量和带宽。通过三维堆叠内存并将其与计算更紧密地集成，我们显著降低了延迟，提升了带宽，并实现了新的效率提升。”

d-Matrix 技术采用LPDDR5内存，并通过中介层将数字内存计算 (DIMC) 硬件连接到内存。DIMC 引擎使用经过改进的 SRAM 单元，并增强了用于执行乘法运算的晶体管，在内存阵列内部执行计算。它采用 chiplet 架构构建，并针对矩阵向量乘法（一种基于 Transformer 的模型中使用的运算）进行了优化。Apollo 计算核心包含八个 DIMC 单元，可并行执行 64×64 矩阵乘法，支持各种数值格式（例如 INT8、INT4 和块浮点）。

“我们预计 3DIMC 将使 AI 推理工作负载的内存带宽和容量提高几个数量级，并确保随着新模型和新应用的出现，服务提供商和企业能够高效且经济地大规模运行它们。”

我们的下一代架构 Raptor 将在其设计中融入 3DIMC——这得益于我们和客户在 Pavehawk 测试中积累的经验。通过垂直堆叠内存并与计算芯片紧密集成，Raptor 有望突破内存壁垒，实现全新的性能和总拥有成本 (TCO)。

我们的目标是在使用 3DIMC 而非 HBM4 运行 AI 推理工作负载时，实现 10 倍内存带宽和 10 倍能效提升。这些并非渐进式的提升，而是阶跃式的改进，重新定义了大规模推理的可能性。

甚至在2022 年底ChatGPT 的推出引发人工智能革命之前， d-Matrix的人们就已经发现了对更大、更快内存的需求，以满足大型语言模型 (LLM) 的需求。d-Matrix 首席执行官兼联合创始人 Sid Sheth 已经预测，由于OpenAI和谷歌的 LLM 项目前景光明，人工智能推理工作负载将激增，这些项目已经在人工智能领域及其他领域引起了关注。

“我们认为这将会持续很长一段时间，”Sheth在 2022 年 4 月接受BigDATAwire采访时谈到了大模型 (LLM) 的变革潜力。“我们认为，未来 5 到 10 年，人们基本上会倾向于使用 Transformer，而这将成为未来 5 到 10 年 AI 计算的主要工作。”

Sheth 不仅准确预测了 Transformer 模型的变革性影响，还预见到它最终将导致 AI 推理工作负载激增。这为 Sheth 和 d-Matrix 带来了商机。问题在于，基于 GPU 的高性能计算架构虽然能够很好地训练规模越来越大的 LLM 和前沿模型，但却并非运行 AI 推理工作负载的理想之选。事实上，d-Matrix 发现，这个问题一直延伸到 DRAM，它无法高效地以所需的高速传输数据来支持即将到来的 AI 推理工作负载。

d-Matrix 的解决方案是专注于内存层的创新。虽然 DRAM 无法满足 AI 推理的需求，但一种速度更快、价格更昂贵的内存——SRAM（静态随机存取存储器）——却能胜任这项任务。

d-Matrix 采用数字内存计算 (DMIC) 技术，将处理器直接融合到 SRAM 模块中。其 Nighthawk 架构利用直接嵌入 SRAM 卡的 DMIC 芯片，这些 SRAM 卡可直接插入 PCI 总线，而其 Jayhawk 架构则提供 die-to-die 功能，以实现横向扩展处理。这两种架构均已融入该公司的旗舰产品 Corsair，该产品目前采用最新的 PCIe Gen5 规格，并具有 150 TB/s 的超高内存带宽。

快进到2025年，Sheth的许多预测都已成真。我们正处于从AI训练到AI推理的重大转变之中，代理AI将在未来几年推动巨额投资。d-Matrix一直紧跟新兴AI工作负载的需求，并于本周宣布其采用三维堆叠DMIC技术（或3DMIC）的下一代Pavehawk架构目前正在实验室中运行。

Sheth 相信 3DMIC 将提供性能提升，帮助 AI 推理突破内存壁垒。

Sheth在 LinkedIn 的一篇博文中写道： “AI 推理的瓶颈在于内存，而不仅仅是 FLOP（浮点运算）。模型发展迅速，传统的 HBM 内存系统成本高昂、功耗高且带宽受限。3DIMC改变了游戏规则。通过三维堆叠内存并将其与计算更紧密地集成，我们显著降低了延迟，提高了带宽，并释放了新的效率提升。”

内存壁垒问题多年来一直存在，其根源在于内存和处理器技术进步的不匹配。d-Matrix 创始人兼首席技术官 Sudeep Bhoja 在本周的一篇博客文章中写道：“行业基准测试显示，计算性能每两年增长约 3 倍，而内存带宽却仅落后 1.6 倍。结果就是差距越来越大，昂贵的处理器只能闲置，等待数据到来。”

Bhoja写道，虽然3DMIC技术无法完全弥补与最新GPU的差距，但它有望缩小差距。随着Pavehawk的上市，该公司目前正在开发利用3DMIC的下一代内存处理架构，名为Raptor。

Bhoja写道：“Raptor……将把3DIMC融入其设计中——这将受益于我们和客户在Pavehawk测试中积累的经验。通过垂直堆叠内存并与计算芯片紧密集成，Raptor有望突破内存壁垒，并释放全新的性能和TCO水平。”

究竟好多少？据 Bhoja 称，d-Matrix 希望在使用 3DIMC 运行 AI 推理工作负载时，与 HBM4 相比，内存带宽和能效分别提高 10 倍和 10 倍。

Bhoja 写道：“这些并非渐进式的提升，而是阶跃式的改进，重新定义了大规模推理的可能性。” 通过将内存需求置于我们设计的核心——从 Corsair 到 Raptor 乃至更远的未来——我们确保推理速度更快、更经济，并且在大规模下更具可持续性。

加星标⭐️第一时间看推送，小号防走丢