英伟达揭秘AI内存突围战：全栈协同让算力性价比飙升30倍

【区角快讯】当大模型参数规模与上下文窗口呈指数级膨胀，单纯堆砌GPU显存已触及成本与物理极限。英伟达于11月6日发布的深度博客指出，构建高效AI基础设施的关键，在于打破硬件孤岛，实施从GPU、CPU到网络存储的全栈协同设计。这一策略并非盲目扩容，而是通过精细化的数据调度，将每一比特内存的价值榨取至极致。

面对Blackwell Ultra至Vera Rubin平台的演进，英伟达披露了一个极具反差的数据：单颗GPU的HBM容量增幅仅约3%，但在特定Agent工作负载下，每美元可实现的吞吐量却最高飙升30倍。这种“小步快跑”背后的逻辑，是将AI工厂视为一个分层数据体系。正如英伟达所比喻，HBM是仓库，带宽是码头，若装卸速度滞后，再大的仓库也无法提升吞吐量。因此，核心任务是将不同类型数据精准安置于最合适的层级。

在模型权重方面，NVFP4低精度格式成为新宠，能将数据压缩至4位，Meta、Black Forest Labs等机构已开始采用。配合NVL72机架级互联，模型权重被分布式存储于72颗GPU间，释放出的HBM空间得以服务更多并发用户。针对动态消耗的KV Cache，英伟达提出三维优化法：一是利用NVFP4压缩；二是借助Vera CPU的大容量LPDDR及NVLink-C2C连接，为闲置上下文提供近端暂存；三是通过Dynamo软件将非活跃数据卸载至低成本CMX平台，并实现跨层级的缓存复用，彻底消除重复计算。

此外，检索增强生成（RAG）带来的向量索引压力，亦通过NeMo Retriever缩小嵌入维度，以及cuVS在CPU/存储层构建大型索引得以化解。只有高频调用的文本片段才进入HBM，其余则留存在外。基准测试显示，在每秒125 Token的服务速率下，Vera Rubin NVL72相较GB300 NVL72，吞吐量提升30倍而显存微增3%。这标志着AI推理正从“内存驱动”转向“效率驱动”，以更低的单位成本撬动更高的智能产出。