初创光芯片公司，要干掉SerDes

像英伟达的NV72这样的现代机架系统内部布满了数英里的铜缆，这些铜缆构成了连接六十多个GPU的底层架构，使它们能够协同工作。如今，随着英伟达和其他公司着眼于更大规模的扩展架构，光纤已不可避免。但随着扩展规模的扩大，从机架后方延伸出来的光纤数量也随之增加。

这是光子学初创公司 Mixx 旨在解决的首要问题。该公司由 Vivek Raghuraman 和 Rebecca Schaevitz 于 2023 年创立，其首款产品于今年早些时候发布，将 64 根光纤封装在一个名为 SxC 的单个连接器中。

“我们可以在 800 平方毫米内放置 1000 根光纤，”Raghuraman 告诉The Next Platform。

除了更大的光纤接口之外，Raghuraman 还认为，大规模计算领域的兴起需要一种全新的系统构建思路，即机架背板充当内部硅芯片的光中介层。摆脱铜缆的限制，他认为这是构建全光纤计算架构的途径。

Raghuraman表示，为了支持这一愿景，Mixx还在开发一系列光学技术，包括近封装和共封装光引擎、光路交换机以及用于管理所有这些技术的软件控制平面。“我们正在制定一个三管齐下的路线图，以实现光网络规模的扩展。”

但这不会在一夜之间发生——拉古拉曼不仅意识到了这一点，而且这实际上也是公司战略的基础。

曾有不少光子学供应商带着类似的雄心壮志来来去去，但值得注意的是，这并非拉古拉曼第一次，甚至也不是第二次制造光引擎。在他任职英特尔的七年间，他的团队在硅光子学领域取得了多项突破，并直接参与了博通公司共封装光开关的开发，我们曾多次报道过这款产品。

Raghuraman表示：“我们不只是在开发概念验证型解决方案，而是开发能够被超大规模数据中心部署的产品。” 这意味着Mixx将根据市场需求来安排产品发布时间。

借助 Vera Rubin Ultra 机架系统，英伟达正在利用光模块扩展其 NVLink 交换架构，将 GPU 容量从 72-144 个扩展至 576 个，最终可达 1152 个。每个机架内部的通信仍将使用铜缆，但机架之间的通信将通过光传输。

英伟达尚未详细说明具体实现方式。我们猜测，英伟达会将近封装或共封装的光模块集成到其NVSwitch中。假设每个SerDes（串行器/解串器）使用一对光纤，那么Vera Rubin NVL576将需要大约20,736对光纤来连接其组装的八个NVL72机架。也就是说，每个机架需要2,592对光纤。

英伟达有很多方法可以降低这个数字，例如密集波分复用技术，它可以将更多波长封装在单根光纤上。但即使每根光纤只有 16 个波长，清理和端接的光纤数量仍然非常庞大。

这正是拉古拉曼和他的团队首先专注于连接器的原因。任何使用光纤构建横向扩展网络的公司，无论是AMD、英伟达，还是博通或漫威XPU的合作伙伴，都需要更密集的光纤接口。

Mixx的下一步计划是开发近封装光学（NPO）引擎，该引擎可以集成到GPU节点中。虽然将共封装光学（CPO）直接集成到ASIC封装中是Mixx的最终目标，但Raghuraman也意识到，市场目前尚未做好迎接这一目标的准备。

NPO通常被认为是一种更安全的选择，因为即使光学引擎出现故障，也不会导致GPU完全报废；理论上，GPU可以进行翻新。Mixx计划在2028年或2029年将首款NPO模块推向市场。

采用 NPO 技术可以省去铜互连，将扩展拓扑结构从两层简化为一层。

Raghuraman 表示：“这需要务实地采用近封装光学器件，因为这样才能将光学器件靠近交换机或计算机……一旦近封装光学器件的外形尺寸得到验证，就可以过渡到真正的共封装光学器件。”

Raghuraman 预计 Mixx 的首款 CPO 产品将在本十年末左右面世，届时 SerDese 将不再适用于大规模网络。

SerDes 通常用于高速网络中，尤其是在需要远距离传输数据时。但它们也有其局限性。在 400 Gbps 的速率下，信号在铜线上不发生衰减的最远传输距离约为 1.25 米。数据速率翻倍，传输距离减半。由此可见问题所在。

但使用CPO，电信号只需到达几毫米外的光引擎，此时传输距离对于数据中心部署来说就不再是问题。放弃SerDes在网络扩展方面还有其他优势。

这些网络通常采用全连接架构，包含 72 个或更多 GPU。借助 Nvidia 的 NVSwitch 或 Broadcom 的 Tomahawk 6 等数据包交换机，每个 GPU 都可以与其他所有 GPU 通信。

单层扩展架构的规模在很大程度上受限于加速器的基数——或者换句话说，受限于每个加速器的端口数量。英伟达的 Blackwell 架构拥有 36 条 200 Gbps 的链路，其中两条链路连接到 NVL72 的 18 个 NVSwitch ASIC 芯片。

Raghuraman表示，放弃SerDese互连技术后，预计可以实现比使用铜互连更高的基数。“当能够达到与芯片间互连相同的密度时，这种方法最为理想，”他说道。

更大的基数带来了一些有趣的可能。如果每个芯片拥有足够多的端口，甚至可能完全不需要数据包交换机。“如果我们能避免数据包交换，就能改善延迟，”他说道，并补充说，对于更大的集群，数据包交换机仍然会发挥作用。“我们正在尝试将其移至网络的更高层。”

正如我们之前在谷歌的 TPU 或亚马逊的 Trainium2 pod 等系统中看到的那样，完全有可能在不使用数据包交换机的情况下构建计算架构。

问题在于，有限的芯片间连接基数迫使我们使用二维和三维环面拓扑结构。这些结构虽然非常适合训练甚至推理密集模型，但并不适合混合专家（MoE）架构，因为这些拓扑结构需要的跳数比全连接交换式架构更多。这正是 AWS转向类似于英伟达 NVL72 架构的 Trainium3 交换式架构的原因。

但如果基数足够高，就可以通过将芯片直接连接起来，实现同样的全连接。集群中任何GPU都可以单跳连接，无需数据包交换机。不过，尽管Mixx尽可能避免使用数据包交换机，但其理想的扩展网络并非完全无交换机。

除了CPO引擎之外，该公司还在开发高密度光路交换机（OCS）。众所周知，这些设备在谷歌的TPU集群中被广泛用于调整pod的大小，并绕过故障的加速器进行路由，就像电话交换机操作员断开一个电话并接通另一个电话一样。

Mixx面临的主要问题是，目前OCS设备的密度不足。

Raghuraman表示：“目前OCS面临的最大挑战是获得高基数OCS交换机。目前大多数技术都是16x16或32x32的。”

这种说法有点低估了这项技术。Coherent 等公司目前已经推出了拥有数百个端口的OCS 设备，但它们的体积也相当庞大。Mixx 可能需要拥有数千个高密度端口的 OCS 设备，如果没有像 SxC 这样的超高密度光纤接入技术，这是无法实现的。

它还需要一个软件控制平面来管理这些连接。每次 OCS 设备重新配置时，连接都会断开。在全连接架构中，这种连接中断的影响不大，因为两个加速器之间总是有多条路径。但这些更改仍然需要合理安排，这本身也带来了一系列挑战。

虽然 Mixx 还需要数年时间才能完全实现其愿景，但至少该公司的路线图不会像过去许多光子学初创公司那样，在市场需求出现之前几十年就推出概念验证产品。

（来源：编译自nextplatform）