芝能智芯出品d-Matrix Raptor：押注"每个用户都带着一座巨大缓存"的推理时代。
大模型上下文从几万 Token 走向百万 Token 后，出现了一个不够显眼却非常昂贵的东西：KV Cache。
模型生成新 Token 时，需要保留之前内容形成的 Key 和 Value，避免每一步都重新计算。上下文越长、并发用户越多，缓存就越大。
d-Matrix 在 Hot Chips 2026 用一个厂商模型估算：64 名用户、每人 100 万 Token 上下文，KV Cache 可能接近 935GB。
这已经远超一颗加速器的片上 SRAM，也会吃掉大量 HBM 容量。更麻烦的是，推理过程要持续读写这些缓存，数据移动会吞噬带宽和功耗。
d-Matrix 提出的 Raptor，是把台积电 N4 逻辑芯片与 3D DRAM 垂直连接，目标带宽接近 100TB/s。它试图让海量缓存住在计算单元正上方，把数据移动距离压到最短。
为什么"近"比"快"更重要
按照 d-Matrix 给出的能耗估算，从片上 SRAM 读取一比特约需 50 飞焦；通过 3D 垂直连接访问 DRAM 约为 0.3—0.4 皮焦；通过 2.5D 封装访问 HBM4 则可能在 2.5—5 皮焦。不同产品和工艺会有差异，但方向很明确：距离缩短，数据搬运成本会大幅下降。
Raptor 不追求取代通用 GPU。它针对生成式推理的数据流，用所谓 stream blocking 与 flipping，让计算在不同数据块间连续推进，尽量保持本地数据复用。d-Matrix 宣称，在其设定的 3 万亿参数级模型、百万上下文场景下，目标可达到每用户约 1000 Token/s。
这类数字必须谨慎看待：它来自厂商模型和大会披露，并非独立基准测试。但它代表了一条值得关注的路线,当 HBM 仍然不够近，就把 DRAM 真正堆到逻辑芯片上。
3D堆叠也把热量和良率叠在一起
DRAM 对温度敏感，逻辑芯片却是热源。d-Matrix 讨论了约 105℃条件下的刷新、ECC 和备用存储体设计，说明热管理不是附属问题，而是架构成立的前提。
芯片越热，DRAM 保存电荷的时间越短，需要更频繁刷新。刷新又会占用带宽和功耗。如果为了散热降低逻辑频率，所谓 100TB/s 的意义也会打折。
良率同样困难。垂直连接数量巨大，一层逻辑或一层 DRAM 的缺陷都可能影响成品。备用 bank、纠错和分块测试不仅用于可靠性，也用于挽救制造良率。
超长上下文并不免费
国内 AI 芯片公司常在通用 GPU、专用 ASIC 和存内计算之间选择。
Raptor 说明，这些分类正在融合：一颗推理芯片可以拥有专用数据流架构，同时依赖接近存内计算的 3D DRAM。
超长上下文并不免费。产品宣传中的"支持一百万 Token"，最终要由内存容量、带宽、电费和并发能力买单。
有商业意义的指标不是单用户能否偶尔运行，而是在指定延迟下，每台服务器能稳定服务多少用户、每个 Token 成本多少。
Raptor 可能成功，也可能被 HBM 演进、模型压缩或新的注意力算法削弱优势。模型记得越多，系统就越像一台不停搬运记忆的机器，让记忆离计算近到几乎没有距离。
