英伟达 GPU 用量削减 82%！

半导体行业圈振兴国产半导体产业！

报道称，10月18日在韩国首尔举办的第 31 届操作系统原理研讨会（SOSP）上，阿里云发布的“Aegaeon”的计算池化解决方案研究成果成功入选。该方案创新性地解决了AI模型服务中普遍存在的GPU资源浪费问题，在阿里云模型市场测试中，实现了英伟达GPU用量大幅削减82%的显著成效。

SOSP 是计算机操作系统领域的顶尖会议，相当于计算机操作系统界的“奥斯卡”，其录取率控制非常严格，平均每年收录的论文数量仅有数十篇，入选论文代表了操作系统和软件领域最具代表的研究成果。

博文称云服务商当前在提供 AI 模型服务时，面临着严重的资源效率低下问题。平台需要同时托管数千个 AI 模型以处理海量并发 API 调用，但用户请求往往高度集中在少数几个热门模型上，例如阿里巴巴的 Qwen 系列模型。研究人员发现，这种“长尾效应”导致了严重的资源闲置：在阿里云的模型市场中，竟有 17.7% 的 GPU 算力仅被用于处理 1.35% 的请求，造成了巨大的成本浪费。

为解决这一痛点，Aegaeon 系统应运而生。它通过创新的 GPU 资源池化技术，允许单个 GPU 动态服务于多个不同的 AI 模型，打破了以往 GPU 与特定模型绑定的低效模式。

在阿里云模型市场进行的为期超过三个月的 Beta 测试中，Aegaeon 系统展现了卓越的效能。测试数据显示，服务数十个参数量高达 720 亿的大模型，所需的英伟达 H20 GPU 数量从 1192 个成功减少至 213 个，数量削减高达 82%。这意味着仅用213张卡就完成了原本1192张卡才能完成的工作，极大地提高了资源利用率，降低了成本。