AI 的下一场竞争，不再只是 GPU，而是数据流与内存架构

市场观察 | HBM / DDR / SEFS Memory Pool / NVMe 四层Memory Fabric架构

四层架构分工

• HBM：计算核心加速区，承载当前层Tensor、激活值、Attention热点，目标是让GPU拿到最热数据。

• DDR：常驻内存与缓冲区，承载Resident Layer、KV Cache、Metadata，目标是平衡容量、延迟与成本。

• SEFS Memory Pool：全局共享内存层，承载共享Tensor、对象缓存、Streaming Layer，目标是跨节点共享与预取。

• NVMe：持久化容量底座，承载Checkpoint、数据集、冷数据，目标是低成本大容量存放。

核心观点

过去十年，人们讨论 AI 基础设施时，几乎总是从 GPU 开始。谁拥有更多 GPU，谁就拥有更强的训练能力；谁能更快采购到新一代加速卡，谁就能在大模型竞赛中占据主动。这种判断在训练时代基本成立，因为训练任务天然适合大规模并行计算：模型参数在相当长时间内稳定驻留在 GPU 高带宽内存中，数据以批量形式连续流入，Tensor Core 可以在很长周期里保持高利用率。也就是说，训练时代的核心问题，是怎样把足够大的矩阵乘法持续压到 GPU 上。

但当产业重心从训练转向推理，系统问题开始发生根本变化。推理不是一次性把大模型训练出来，而是要在真实业务中每天、每小时、每秒响应大量请求。每一个请求都有不同 Prompt、不同上下文、不同检索结果、不同 KV Cache 增长轨迹。GPU 仍然是计算核心，但它不再天然处于满载状态。越来越多的推理系统不是被 FLOPS 限制，而是被数据移动限制：参数什么时候到达？KV Cache 放在哪里？Embedding 和 Retrieval 结果如何进入计算路径？冷数据如何快速升温？多个 GPU 之间如何共享对象和张量？

因此，推理时代真正的系统命题，不再只是 “买更快的 GPU”，而是 “构建更好的 Memory Fabric”。所谓 Memory Fabric，并不是传统意义上的内存条或存储阵列，而是一套围绕 GPU 的数据供给网络：它把 HBM、DDR、分布式内存池、NVMe 以及跨节点网络组织成一个连续的数据平面，使数据能够以可预测、可调度、可预取的方式流向计算核心。训练时代属于 GPU，推理时代属于 Memory Fabric，这不是一句口号，而是 AI 基础设施架构重心的真实迁移。

训练和推理表面上都运行神经网络，但它们对内存体系的要求几乎相反。训练阶段通常面对大批量样本、大规模矩阵计算和相对稳定的数据访问模式。模型参数、梯度、优化器状态虽然体量巨大，但访问规律清晰；数据集以批处理方式进入 GPU，前向传播、反向传播和参数更新按照固定节奏重复发生。只要 HBM 容量足够、互联带宽足够、GPU 集群调度合理，训练任务就能在长时间内维持较高算力利用率。

推理阶段则不同。一个大模型在服务真实用户时，每次请求的输入长度不同，输出长度不同，所需知识不同，访问路径也不同。系统需要处理 Prompt、Embedding、KV Cache、模型层参数、检索结果、工具调用上下文以及流式输出。尤其在长上下文、多轮对话、RAG、Agent 和多模态推理场景中，数据不再是整齐的批处理，而是大量碎片化、动态化、层次化的数据流。GPU 需要的不是一次性 “喂饱”，而是在每个 token 生成过程中不断得到下一段最需要的数据。

这意味着训练更像是 “计算工厂”，推理更像是 “实时物流系统”。训练需要的是把原料以大批量送入生产线；推理需要的是在极短时间内判断哪一份数据最热、哪一份数据可以预取、哪一份数据应该驻留、哪一份数据可以下沉到低成本层。前者强调峰值算力，后者强调数据编排。前者的瓶颈经常是 Tensor Core 是否吃满，后者的瓶颈则经常是 GPU 是否在等待内存、等待网络、等待存储。

因此，推理系统的内存语义从 “容量和带宽” 进一步升级为 “层级、共享、预取、流式、可调度”。HBM 不再是孤立的显存，DDR 不再只是 CPU 侧缓存，NVMe 也不再只是冷存储。它们必须通过一个统一的数据平面连接起来，形成面向推理的数据流体系。这正是 Memory Fabric 的价值所在。

HBM 仍然是 AI 推理系统中最宝贵的资源。它拥有最高带宽和最低延迟，直接服务 GPU 计算核心，因此最适合存放当前计算所需的热点 Tensor、激活值、Attention 相关数据以及短时间内高度活跃的模型层。但是，HBM 的容量昂贵且有限。如果把所有参数、KV Cache、Embedding 缓存和检索对象都强行塞进 HBM，系统很快就会遇到容量墙，成本也会失控。

在训练时代，尽可能让模型常驻 HBM 是合理策略，因为训练访问规律稳定，数据复用率高，GPU 长时间执行同类计算。而在推理时代，很多数据只在某一个请求、某几个 token、某一个上下文窗口内短暂变热。把这些瞬时热点长期占用 HBM，反而会挤压真正关键的计算数据，导致更频繁的换入换出。

因此，推理时代的 HBM 角色应该被重新定义：它不是 “大而全的模型仓库”，而是 “计算核心加速区”。只有当前最热、最紧迫、最能直接提升 GPU 利用率的数据，才应该进入 HBM。其他数据则应在 DDR、SEFS Memory Pool 或 NVMe 中分层管理，并通过预取和调度机制在需要之前进入 GPU 侧。这种设计思路本质上是把 HBM 从容量中心转变为热数据执行中心。

如果没有 Memory Fabric，HBM 经常会陷入两种错误：要么被过多冷数据占满，要么在关键时刻拿不到下一批热数据。前者浪费昂贵资源，后者造成 GPU 等待。Memory Fabric 的任务，就是让 HBM 始终保持高价值占用，让每一次进入 HBM 的数据都尽可能转化为有效计算。

DDR 在传统 AI 系统中常常被视为 CPU 内存，似乎只是 GPU 之外的辅助区域。但在推理场景中，DDR 的重要性被显著放大。它容量更大、成本更低，虽然带宽和延迟不及 HBM，却非常适合承载常驻模型层、元数据、调度索引、部分 KV Cache 以及预取缓冲。

在大模型推理中，不是所有层都需要同时进入 HBM。对于多 GPU、多实例和多请求并发场景，DDR 可以作为一个承上启下的内存池：向上支撑 HBM 的快速换入，向下承接来自分布式内存池和 NVMe 的数据升温。它既不是最终计算区，也不是冷存储，而是推理数据路径中的 “常驻内存区” 和 “稳定缓冲区”。

尤其在长上下文和多轮对话场景中，KV Cache 会持续膨胀。如果全部放入 HBM，系统成本很快失去经济性；如果全部放入 NVMe，延迟又难以接受。DDR 提供了一个中间层，让较热但不一定即时计算的数据可以停留在更合适的位置。同时，DDR 还能承载调度元数据，例如哪些 Tensor 即将被使用、哪些对象可以预取、哪些上下文应该保留、哪些缓存可以淘汰。

从系统角度看，DDR 不是 HBM 的替代品，而是 HBM 的稳定器。它让 HBM 不必承担所有容量压力，也让 SEFS Memory Pool 和 NVMe 的数据可以更平滑地进入计算路径。一个好的推理系统，不是单纯堆 HBM，而是让 HBM 和 DDR 形成明确分工：HBM 负责极热计算，DDR 负责常驻缓冲和调度支撑。

四层结构中最关键的变化，是引入 SEFS Memory Pool 这样的分布式共享内存层。它既不是传统本地内存，也不是普通文件系统，而是面向 AI 推理的数据流中枢。它将跨节点内存、对象缓存、Tensor Streaming、共享参数池和高速网络访问组织在一起，使多个 GPU、多个推理实例和多个节点能够围绕同一套全局数据平面工作。

在传统架构中，每台服务器、每块 GPU、每个推理进程往往各自维护数据副本。模型层、Embedding 缓存、检索对象和中间状态不断重复加载，造成内存浪费和 IO 放大。当请求规模上升后，系统瓶颈不只是单节点带宽，而是全局数据组织能力。SEFS Memory Pool 的意义在于，把原本分散的数据变成可共享、可寻址、可调度的内存资源。

对于推理系统来说，SEFS Memory Pool 可以承担四类核心职责。

1. 作为共享 Tensor 池，避免不同 GPU 和不同实例重复加载相同模型数据。
2. 作为 Streaming Layer，在 GPU 真正需要之前，将下一批 Tensor 按顺序送入 DDR 或 HBM。
3. 作为对象缓存，把 Embedding、RAG 片段、上下文对象和热数据保留在更靠近计算的位置。
4. 作为跨节点内存访问层，通过 RDMA 等网络路径降低远端数据访问开销。

这使得推理系统从 “每台机器自己找数据”，转向 “整个集群围绕统一 Memory Fabric 调度数据”。当模型越来越大、上下文越来越长、并发请求越来越多时，这种全局内存池的价值会快速放大。它不仅提升性能，更改变了 AI 基础设施的成本结构：昂贵 HBM 不再需要承担全部容量，普通 DDR 和分布式内存可以承担大量中热数据，NVMe 则回到持久化和冷数据角色。

NVMe 在 AI 基础设施中仍然不可或缺。Checkpoint、训练数据集、冷模型版本、历史上下文、归档对象以及大规模检索数据，都需要持久化存储承载。NVMe 的优势是容量大、成本低、部署成熟，但它的延迟特征决定了它不应直接暴露在 GPU 关键路径上。如果 GPU 在推理过程中频繁等待 NVMe 读取，那么再强的算力也会被数据路径拖慢。

推理时代对 NVMe 的正确使用方式，是将其作为 Memory Fabric 的最底层，而不是让它直接参与每个 token 的实时路径。冷数据可以长期停留在 NVMe；当系统判断某些模型层、对象或检索片段即将变热时，再通过 SEFS Memory Pool 和 DDR 逐级升温。这样，NVMe 提供容量和持久性，SEFS 提供共享与流式，DDR 提供缓冲与常驻，HBM 提供最终计算。

这类似现代供应链：仓库很重要，但不能让生产线每加工一步都去远程仓库取零件。真正高效的系统，会在仓库、区域分拨中心、线边缓存和生产工位之间建立连续补给机制。NVMe 就是 AI 推理系统的大仓库，而 Memory Fabric 就是从仓库到 GPU 工位的智能补给网络。

因此，NVMe 不应该被简单看作 “慢存储”，而应被看作四层 Memory Fabric 中的容量底座。它的价值不是直接喂 GPU，而是通过分层升温机制，让冷数据在合适时间进入合适位置。一个优秀推理系统的目标，不是消灭 NVMe，而是避免 GPU 直接等待 NVMe。

很多企业在部署大模型推理时会遇到一个反直觉现象：GPU 很贵，规格很高，但实际利用率并不稳定。系统监控显示，GPU 并不是一直在计算，而是在等待数据、等待缓存命中、等待参数加载、等待检索结果、等待上下文整理。这时候继续增加 GPU 数量，未必能线性提升吞吐，反而可能放大数据路径上的拥塞。

这就是推理系统的核心矛盾：算力越来越强，但数据组织能力没有同步升级。训练时代的优化重点是扩大 Batch、提高并行度、减少通信开销；推理时代的优化重点则变成了减少等待、提高命中、提前预取、降低数据搬运成本。Memory Fabric 要解决的不是单点带宽问题，而是端到端数据流问题。

具体来说，Memory Fabric 至少要完成五件事。

• 判断哪些数据最热，应该进入 HBM。
• 判断哪些数据即将被使用，应该提前进入 DDR 或 SEFS 缓冲。
• 避免不同 GPU 重复加载相同对象。
• 让 KV Cache、Embedding 和 RAG 对象在多层内存之间动态迁移。
• 把 NVMe 读取从实时路径中剥离出来，变成后台升温过程。

当这些能力形成闭环后，GPU 看到的世界会发生变化。它不再面对杂乱无序的 IO 请求，而是面对连续、可预测、已经预取好的 Tensor 流。此时，推理系统的瓶颈才有可能重新回到计算本身。换句话说，Memory Fabric 并不是削弱 GPU 的重要性，而是释放 GPU 的真实能力。没有 Memory Fabric，GPU 只是昂贵的等待器；有了 Memory Fabric，GPU 才重新成为高效率计算引擎。

从市场角度看，Memory Fabric 不是一个边缘优化，而是 AI 基础设施的新产品类别。过去，企业采购 AI 基础设施时，主要关注 GPU 型号、显存容量、网络带宽和存储容量。未来，企业会越来越关注一个更系统的问题：这套基础设施能否以合理成本支撑持续推理？能否让 GPU 保持稳定利用率？能否在多模型、多租户、多上下文、多检索场景下保持低延迟？

这些问题单靠 GPU 无法回答，也单靠存储无法回答。传统存储系统擅长容量和可靠性，却不理解 Tensor 热度、KV Cache 生命周期和推理流水线。传统内存系统带宽很高，却局限在单机或单进程范围内。传统网络系统提供连接，却不直接表达 AI 数据对象的语义。Memory Fabric 的价值正在于把这些能力重新组合：用内存语义理解 AI 数据，用网络能力连接分布式资源，用缓存和预取机制支撑推理节奏，用分层架构平衡成本与性能。

这也是为什么 “此存储、非彼存储”。AI 推理时代需要的不是更大的磁盘阵列，而是能够进入计算节奏的数据平面。SEFS Memory Pool 的定位，不是把 NVMe 包装成更快的文件系统，而是把分布式内存和对象缓存纳入推理流水线，让模型参数、Tensor、KV Cache 和检索对象在整个集群中形成统一调度。

当 AI 应用从聊天机器人走向企业知识库、代码智能体、视频理解、机器人控制和实时决策，推理将不再是单一模型服务，而是复杂的数据流系统。谁能控制数据流，谁就能控制推理成本；谁能控制 Memory Fabric，谁就能释放 GPU 价值。

AI 基础设施的历史，正在从单纯追求峰值算力，转向追求端到端系统效率。GPU 仍然重要，而且在可预见未来仍将是 AI 计算的核心。但推理时代的问题已经不再是 “有没有 GPU”，而是 “GPU 是否一直有数据可算”。

HBM、DDR、SEFS Memory Pool 和 NVMe 构成的四层 Memory Fabric，提供了一种新的系统答案：让最热的数据进入 HBM，让常驻和中热数据停留在 DDR，让跨节点共享和流式加载交给 SEFS Memory Pool，让冷数据和 Checkpoint 留在 NVMe。通过这种分层设计，推理系统可以在性能、容量和成本之间获得新的平衡。

未来的 AI 竞争，不会只发生在芯片参数表上，也不会只发生在存储容量表上，而会发生在整个数据平面的架构能力上。训练时代，GPU 定义了 AI 基础设施的上限；推理时代，Memory Fabric 将决定 AI 基础设施的真实效率。

一句话概括：训练时代属于 GPU，推理时代属于 Memory Fabric。