本文来自PRO会员通讯内容,文末关注「机器之心PRO会员」,查看更多专题解读。

在 GenAI 席卷全球的技术浪潮中,对算力短缺的极度恐慌驱使 AI 的供应商和企业采用方均在大量采购 GPU,又同时将不惜重金囤积的 GPU 闲置。在财务核算层面,有分析认为企业将 GPU 视为长效资产的做法正在聚积巨大泡沫。与此同时,近期研究发现未曾被闲置的 GPU 在运作中同样未能发挥应有的效率,长期低效运转。这种「囤积悖论」为 AI 社区带来了一种思潮,即「在将预算投入未来的算力采购之前,是否应该先用好手里的 GPU?」
目录
01. 为什么企业在大量采购 GPU 的同时又将其闲置?
企业花了多少钱买 GPU?狂热囤卡为什么会形成泡沫?...
LLM 的运行机制如何限制 GPU 发挥?GPU 还有多少潜力能够挖掘?...
为什么企业在大量采购 GPU 的同时又将其闲置?
1、在生成式 AI 走向规模应用的浪潮中,从训练前沿基座模型、提供持续在线推理到企业产线部署 AI 工具,各类业务都在密集消耗计算资源,推动全球进入一场算力军备竞赛与「囤卡热潮」。[1-1] [1-2]
① 模型上线后的持续推理正占据越来越大的算力开销。尤其在编程 Agent 等多步任务中,单次请求常需反复调用外部工具并将返回结果拼回上下文,连续触发多轮长序列推理。[1-2] [1-3]
② 底层硬件采购规模也在持续扩大,IDC 统计显示,2026 年第一季度全球涵盖服务器与存储的广义 AI 基础设施支出达 897 亿美元,同比增长约 33%。[1-1]
2、有行业调查发现,不少企业出于对算力供应趋紧的焦虑而不断囤积 GPU,但大多数企业的显卡至少有一半时间处于闲置状态。高额投入与低效使用并存的反差,被业界观察称为隐藏在企业内部的「AI 泡沫」。[1-4] [1-5]
① VentureBeat Intelligence 在 2026 年 7 至 9 月调查了百人以上已上线 AI 的组织,218 名披露使用情况的受访者中,79% 自报显卡至少一半时间空闲;自报空闲的 172 人里,仍有 70% 计划未来一年引入、增配或更换平台。[1-5]
② 超前囤卡的心态很大程度上源于早前的硬件紧缺记忆。2023 年至 2024 年初,NVIDIA H100 等核心加速卡的订单交付等待期一度长达 8 至 11 个月,促使不少机构在业务尚未跑通前便提前锁卡储备算力。[1-4] [1-5]
③ VentureBeat 指出,不少组织在缺少经财务审核的回报指标时便像「办健身卡」一样购置算力硬件,日常实际工作却依赖外部前沿模型的云端 API,导致自有算力长期空置。[1-5]
3、企业内部的算力闲置并不只是超前采购或缺乏业务规划所致。对于已将大语言模型投入日常服务的模型供应商与自建团队,实际运行任务的 GPU 也常受底层软硬件机制限制,未能发挥出应有的服务产能。[1-2] [1-6]
① 卡内基梅隆大学与伊利诺伊大学研究者 2026 年 4 月发现,在线服务需让模型常驻显存以保障实时响应;请求到达不均时,显卡常处于计算接近零却仍维持约 110W 功耗的「执行空闲」状态(深度休眠仅约 35W),可占推理服务总能耗的 7%—65%。[1-6]
4、针对运行中算力未能跑满的现状,学术界与工业界正从芯片计算单元、模型显存读写与集群任务调度等多个角度展开排查,尝试解开制约现有显卡性能发挥的底层限制。[1-7] [1-8] [1-9]
GPU 的潜力被上了哪些「锁」?
1、围绕运行中单张 GPU 算力难以跑满的现象,近期多项实测与机制分析从三个并行角度拆解了底层制约,分别涉及芯片内部单项指令向矩阵运算传导时的折损、逐词生成回答时计算核心对显存读取的等待,以及长对话历史缓存对显存并发空间的挤占。[1-7] [1-2] [1-8]
2、在芯片计算单元内部,单项指令跑得更快,传导至模型常用的矩阵运算时仍会出现明显折损。针对消费级显卡部分高精度指令出厂按半速运行的限制,近期有开发者将其解锁至全速使单项指令吞吐接近翻倍,但实测矩阵乘法提速最多仅约 34%,部分规模甚至基本持平。[1-10] [1-7]
① 2026 年 10 月,gpu-unlock-ada 在官方驱动与 450W 同功耗下放宽 RTX 4090 半速限制(FP16/BF16 输入、FP32 累加);矩阵乘法中三组 FP16 升约 12%—34%、两组 BF16 升约 16%—20%,另一组 4096³ BF16 基本持平...
