谷歌开始拆旧服务器的DDR 4来用了

DRAM 领域的持续短缺迫使 AI 超大规模数据中心运营商不得不采取一些非常规手段来获取急需的内存，例如谷歌似乎正在对其退役服务器进行改造，拆除其 DDR4 内存模块。

谷歌现在显然正在退役服务器中重复利用旧的 DDR4 内存模块，建立起某种内部回收供应链。

谷歌供应链基础设施高级总监 Nikhil Cherian 最近在一次峰会论坛上透露，AI 行业已迅速从计算资源紧张转向内存资源紧张，高性能内存目前已占到 AI 服务器物料清单 (BOM) 成本的 75% 左右。

据切里安透露，为了“突破内存瓶颈”，谷歌正在同时研发软硬件解决方案，甚至拆解退役服务器回收可利用的组件，从而建立内部回收供应链。

事实上，谷歌设计了特殊的硬件适配器，使DDR4等上一代内存解决方案能够连接到新一代AI服务器。切里安还承认，谷歌特意重新进口退役服务器，就是为了拆除其DDR4内存模块。

与此同时，这家科技巨头也在不断优化底层函数库、模型架构和键值缓存压缩，力求降低单位计算能力的内存使用量。

值得一提的是，谷歌今年推出了两款TPU ASIC芯片：TPU8t专注于训练特定的AI模型，而TPU8i则针对推理进行了优化。

因此，谷歌的 TPU8i 利用高度先进的专用内存层来消除性能瓶颈：

每个 TPU 8i 芯片都配备 288 GB 的 HBM3e 内存，提供高达 8.6 TB/s 的超快内存带宽。

该 ASIC 还集成了 384 MB 的片上 SRAM，用于存储活动键值 (KV) 缓存，无需查询外部系统 RAM。

TPU 8i 服务器完全取代了旧的 x86 主机处理器，采用谷歌定制的基于 Arm 架构的 Axion 处理器，后者依赖高速 DDR5 内存架构来执行主机级任务，例如数据预处理。

然而，鉴于 Cherian 最近的让步，谷歌似乎被迫在其新的 AI 服务器中使用较旧的 DDR4 内存模块，至少在某些情况下是如此。