AI 芯片下半场，赛道换了

在训练领域，GPU继续占领主导地位，这是一个不争的事实。但来到推理方面，AI芯片需要新的解决方案，这主要是因为推理端对系统提出了新的需求。

训练是通过海量数据来调整模型内部的参数（权重），让模型“记住”知识和逻辑不一样，推理的目标是应用。在这种场景下，参数已经固定不动了，模型只是根据你给的输入，利用已有的知识来“推算”出答案，而Prefill （预填充）和 Decode（解码） 正是实现这种推算过程的两个重要子阶段。

所谓Prefill 本质上是推理的“第一步”。它把你的输入变成模型能理解的数学向量，并存入“短期记忆”（KV Cache）；Decode 本质上是推理的“后续步”。它利用刚才存下的“短期记忆”和模型本身的“长期记忆”（权重参数），一个接一个地预测后面的词。

正因有着不同的目的，训练和推理就对AI芯片提出了不同的需求。

如果说，训练芯片就像是一部追求“极致力量”的重型吞吐机器。由于其核心任务是通过反向传播在海量数据中不断修正模型参数，芯片必须具备极高的计算吞吐量和数值精度，以确保模型能够稳定收敛。那么推理芯片则是一部追求“瞬时响应”的低延迟服务专家。

在模型参数固定后的推理应用阶段，AI芯片的主要瓶颈从计算量转向了内存带宽（Memory Bandwidth），即如何飞快地从内存中读取参数并处理 KV Cache。为了在毫秒级给用户反馈，推理芯片更看重片上缓存（SRAM）的大小和显存的吞吐速度，而非单纯的原始算力。此外，推理对能效比和成本极度敏感，通常会通过低精度量化来压榨硬件性能，其核心逻辑是在保证用户“出字速度”的同时，实现单次任务运行成本的最优解。

这也正是英伟达收购Groq布局LPU，以及谷歌推出TPU 8i的重要原因。

以LPU为例，英伟达创始人黄仁勋在解释推出LPU的理由时指出，随着AI Agent应用的日益增长，推理工作负载也变得越来越多样化。一些任务优先考虑交互性和超低延迟，而传统GPU在这些方面可能存在性能冗余。为了满足这一需求，NVIDIA推出了专注于低延迟tokens生成的LPU架构。

据介绍，通过利用位于处理器芯片上的扁平SRAM网格取代HBM，LPU无需片外内存访问，无需DRAM控制器，也无需HBM堆栈。就能让每个权重和每个KV Cache始终位于片上SRAM中。数据测试显示，这种设计的每兆瓦的推理吞吐量比基于HBM的GPU推理高出35倍。

同样地，谷歌在TPU 8i上也大幅增加SRAM 容量，因此可以完全在硅片上容纳更大的 KV Cache，从而显著减少长上下文解码期间内核的空闲时间。

虽然，这两种方案已经成为了破解推理带宽瓶颈的典型。但正如分析人士所说，Groq LPU 是通过“牺牲空间”来绕过内存瓶颈，结果撞上了“网络瓶颈”；TPU 8i 是通过“堆叠带宽”来缓解内存瓶颈，结果受限于“物理极限”。

在这种情况下，寻找绕开内存带宽的解决方案，就成为了AI推理芯片厂商接下来的工作重点。于是，“内存墙”这个老生常谈的话题，再次被推到台前。

所谓“内存墙”（Memory Wall），是一个描述处理器（CPU）性能提升速度与主存储器（DRAM）访问速度之间巨大差距的术语。简单来说，我们可以将其理解为“算得太快，供得太慢”。

在计算机发展的几十年里，CPU 的运算速度（逻辑频率和核心数量）遵循摩尔定律突飞猛进，每年都有显著增长；然而，内存读取数据的延迟（Latency）和带宽（Bandwidth）改善却相对缓慢。这就好比一个拥有顶级加工能力的工厂（CPU），其外部的原材料运输公路（总线和内存）却一直拥堵不堪。

随着时间推移，这两者之间的鸿沟越来越深，形成了一堵隐形的“墙”。

由于 CPU 处理数据的速度远快于内存送达数据的速度，CPU 在完成当前的计算任务后，往往需要消耗成百上千个时钟周期来“空转”等待下一组数据从内存中提取出来。这导致即便 CPU 拥有极强的算力，在实际运行复杂程序（如 AI 大模型训练、大数据分析）时，整体系统的效率也会被限制在内存的传输水平上。

正是这道墙，困住了AI推理。而为了跨越这堵墙，半导体行业一直在尝试不同的技术路径：

1、增加缓存（Cache）在 CPU 内部放置多级（L1/L2/L3）高速缓存，尽量减少去主内存取数据的次数。

2、存内计算（CIM）： 直接在内存芯片中集成计算功能，减少数据搬运。

3、高带宽技术： 例如采用 HBM（高带宽内存），通过垂直堆叠芯片和更宽的互连通道，通过“暴力”增加运输带宽来缓解压力。

4、新型互连协议： 如 CXL 协议，旨在更高效地池化和共享存储资源。

在过去几十年里，这四种方法都有人在尝试。例如英伟达在使用HBM之后，再收购Groq打造LPU，就使用了其中的两种方法。如上所属，虽然这种转变让他们能再推理为王的时代更进一步，但无法否认的是，英伟达LPU终究没跳出冯·诺依曼架构的框：计算和存储还是分开的，只是“跑腿”的路变短了而已。面对十几B、几十B的大模型，片上SRAM容量终究有限，大部分参数还是要放外部DRAM里。

换而言之，直至现在，存储那堵墙，依然还没被打破。这也正是存内计算在近年来成为全球追逐目标的原因之一。通过直接在存储单元内部集成计算逻辑。存内计算可以消除计算中的大量功耗产生来源——数据的搬运，也可以引入极限带宽和极低延迟，成为真正的“破墙者”。

然而在过去，受限于制造工艺、软件生态的重构和散热等难题，存内计算一直进展缓慢。不过，进入最近几年，我们可以见到，存内计算已经开始逐渐走向商用。例如全球手机芯片龙头联发科在去年推出的天玑9500中，就集成了基于SRAM打造的存算一体架构NPU。此NPU专门为低功耗AI场景打造。它能以极低的功耗持续处理如语音指令监听、传感器数据处理等轻量级任务，实际测得该架构在3~4W功耗区间内，推理效率相比天玑9400提升56%。

由此可见，基于SRAM的存算一体，拥有了破墙的实力，其所具备的优势也是传统冯诺依曼架构无法比拟的，而在存算一体这条技术路线上，国内厂商正走在这条赛道的前沿，其中就包括了微纳核芯。

正如业界普遍共识，国内企业在传统冯诺依曼架构芯片领域，与海外厂商仍存在显著差距，尤其是在CPU与GPU等通用计算产品上差距更加明显。然而，在以存算一体为代表的新型计算架构上，全球产业尚处于早期探索阶段，海内外企业正站在同一条起跑线上。

过去几十年里，基于不同存储介质，存算一体已演化出多条技术路线，主要涵盖易失性存储（如SRAM、DRAM）以及非易失性存储（如MRAM、PCM、RRAM和Flash）。

其中，SRAM与CMOS逻辑工艺高度兼容，具备低电压、高速度、无限擦写等优势；DRAM则通过1T1C结构实现较高存储密度。相比之下，非易失性存储具备高密度与掉电不丢失数据的特性，在对功耗和成本敏感的场景中更具潜力，例如MRAM与PCM在耐久性方面表现突出，而MRAM和RRAM还具备良好的后道工艺兼容性，已在先进制程节点逐步推进产业化。同时，Flash可通过3D堆叠持续提升存储密度。

从计算特性来看，不同器件同样存在显著差异：MRAM、PCM和RRAM由于开关比有限，更适合对精度要求相对宽松的计算场景；而SRAM、DRAM及Flash则具备更高开关比，使其在计算精度与实现方式上拥有更大的灵活性。

在后续的发展中，SRAM也凭借其具备工艺成熟度高和强鲁棒性的优势，逐渐在这个赛道中寻找到一席之地。SRAM 存算一体从早期的模拟域计算, 逐渐发展到现在的能够支持无精度损失的数字域计算, 支持更复杂的算法模型和与算法一致的量化方案。

作为一家深耕这个赛道多年的公司，成立于 2021 年的杭州微纳核芯电子科技有限公司在SRAM存算一体领域具有深厚的积累。作为一支从北大走出来的团队，微纳核芯在这个赛道一扎就是7年，并最终正式落地了全球首创的3D-CIM™架构。这让他们成为了这个赛道的绝对领先者。

不同于一般的CIM，微纳核芯全球首创的 3D-CIM™三维存算一体技术体系，从根本上打破了传统冯·诺依曼架构的“存储墙”与“功耗墙”。通过三维键合技术，微纳核芯把SRAM存算一体计算内核和DRAM存储单元做了垂直堆叠融合，真正在存储器里完成AI计算，还能靠超大容量DRAM装下大模型的海量参数。彻底消除数据搬运开销，实现了算力密度的数量级提升与能耗的显著下降，成功破解了行业长期面临的“高性能、低功耗、低成本”不可能三角：

一方面，SRAM存算一体核心架构，从根上破解了算力密度与能效瓶颈；另一方面，三维键合技术，彻底打通了大模型推理的带宽与容量任督二脉；此外，基于RISC-V的RV-CIM™异构融合架构，兼顾了AI计算完备性与全栈生态易用性。

也正是得益于这些年的深耕，该团队打通了从指令集到算法的全链路，凭百余项专利攻克端侧AI痛点：其芯片仅需极低功耗即可高速运行大模型。目前已获红杉、小米、联想、兆易创新等头部产业投资，并与国内存储及终端龙头达成深度合作。

笔者认为，存算一体不仅仅是一个技术路径的突破。对于中国AI芯片厂商而言，这更是一个重写规则的机会。

当算力不再稀缺，真正稀缺的，开始变成数据流动的效率。

“内存墙”的再次凸显，不只是一个工程问题，更是一个信号：以冯诺依曼架构为基础的计算方式，正在逼近边界。继续堆叠算力与带宽，仍有空间，但边际收益已明显递减。

这也意味着，下一阶段的突破，不再来自“更强”，而更可能来自“不同”。当计算开始围绕数据重构，以存算一体为代表的新路径，其意义已不只是效率提升，而是对计算范式的重新定义。

历史反复证明，瓶颈出现之处，往往正是变革的起点；范式迁移之时，也正是格局重塑之机。真正的竞争，往往不发生在旧赛道的终点，而发生在新赛道的起点。

微纳核芯，无疑已经站在了最好的风口。

点这里👆加关注，锁定更多原创内容

*免责声明：文章内容系作者个人观点，半导体芯闻转载仅为了传达一种不同的观点，不代表半导体芯闻对该观点赞同或支持，如果有任何异议，欢迎联系我们。