能够创造最高回报的 AI 工厂具备三大特质:更高的收益、延长使用时间,以及服务于更多类型的工作。

AI 工厂的建设规模以兆瓦甚至达到十亿瓦级计算。每个兆瓦级的工厂的成本约为 6000 万美元,AI 工厂运营商只有在明确了解投资回报的情况下,才会决定投入如此规模的资金。影响 AI 工厂回报的关键因素有三个:创收能力、使用寿命、需求。
NVIDIA AI 工厂更大限度地提升这三个方面的表现,具体体现在:
高效
实现每兆瓦最高吞吐量和每 Token 最低成本,从而最大限度地提高创收能力。
耐用
NVIDIA GPU 和系统在出厂多年后仍然保持盈利,延长了使用寿命。
可互换性
能够运行各种类型的 AI,无论是在哪个阶段、哪个场景,以及许多根本不涉及 AI 的工作负载,从而满足更广泛、更深层的需求。
高效:每兆瓦 Token 产出最高,
Token 成本最低
电力是 AI 工厂的关键制约因素。因此,每兆瓦每秒生成的 Token 数量决定了创收能力。固定功耗范围内的 Token 越多,收入就越多。每个 Token 的成本越低,利润空间就越大。
耐用:已部署的产品持续创造收益
并非每个工作负载都需要最新的系统。适配与否取决于工作负载的复杂程度和特征。这解释了为什么上一代产品在新产品到来后仍然能继续创收。
NVIDIA GPU 编程软件平台 CUDA 能够跨代运行,因此当新架构出现时,运营商已有的设备都不会被淘汰。持续的软件和内核优化,则在不断提升现有硬件的能力边界。
可互换:
各种类型的 AI、各个阶段、各种场景
为单一工作而建的工厂,相当于押注这类需求会持续存在。而能够运行多种工作的工厂,即使工作发生变化,也能让其继续发挥作用并持续创收。
NVIDIA AI 工厂支持各种类型的 AI 模型,无论是开放模型还是专有模型,涵盖语言、视觉、生物学、物理学和机器人等领域。它们覆盖从数据处理到预训练、后训练和推理的每个阶段。也在各种场景中运行,从超大规模云和 AI 云到各个项目、企业数据中心和边缘端。
以上为摘要内容,请点击“阅读原文”或扫描下方二维码阅读完整内容:

扫描下方海报二维码,锁定 NVIDIA CEO 黄仁勋 GTC 柏林主题演讲。北京时间 10 月 21 日(星期三)下午 17:00 - 19:00,邀您一同探索 AI 工厂、开放模型、物理 AI 和加速计算如何推动各行各业创新。
