文章转载自公众号:TWCL探微芯联
本文只做学术/技术分享,如有侵权,联系删文。
在大模型与超算时代,单张GPU早已不堪重负。但当我们将几十、上百张GPU堆在一起,你是否想过这样一个问题:GPU之间的数据传输,真的够快吗?
在早期的“多卡协作”模式中,数据交互必须经过一条漫长的路径:源GPU显存 → 主机内存 → CPU调度 → 目标GPU显存。这种“GPU-内存-GPU”的中转模式,就像寄同城快递却要先绕道外省,不仅产生了极高的延迟,还占用了宝贵的CPU资源和PCIe总线带宽。在大规模训练中,通信开销甚至能占到总耗时的40%以上,导致“多卡空转,算力浪费”。
为了填平这个坑,GPU点对点(P2P)通信技术应运而生。
技术原理:拆除“中转站”
GPU P2P技术的核心逻辑非常简单:让GPU直接对话。依托CUDA 统一虚拟地址(UVA),系统为所有GPU显存分配了统一的寻址空间,GPU之间不再需要CPU“翻译”地址;再配合DMA直连机制,数据可以在显存之间直接搬运,全程无需CPU介入。这就好比把“快递驿站”撤掉,让两个邻居直接串门,效率自然天差地别。不过需要注意的是,早期P2P的高效通常局限于同一CPU节点下的GPU设备。跨节点通信或消费级显卡往往会受到硬件限制,无法跑满性能。
性能飞跃:从PCIe到NVLink
经过十余年迭代,P2P技术已形成两条主要赛道:
通用型(PCIe P2P): 这是大多数服务器和消费级设备的标配。PCIe 4.0 x16的双向带宽约为63GB/s,PCIe5.0则提升至126GB/s。它解决了有无问题,但在多卡并发时容易遭遇总线争抢。
性能型(NVLink P2P): 这是高端数据中心的"专属高速公路"。以H100为例,NVLink 4.0单卡带宽高达900GB/s,最新的NVLink6.0更是飙升至3.6TB/s。配合NVSwitch芯片,它能实现多卡无阻塞全速互通,在 NVSwitch 全互联拓扑下,8 卡集群的加速比可趋近线性。
延迟:传统中转约15-18微秒 → PCIe P2P降至5-6微秒 → NVLink进入亚微秒级(~1μs)。
带宽:相比传统模式,NVLink提供了数十倍的吞吐能力。

应用场景:算力基建的基石
P2P技术早已不是实验室里的概念,而是支撑现代AI的底层设施:
1、大模型训练:这是P2P最核心的战场。无论是数据并行还是模型并行,千亿乃至万亿参数在多卡间同步梯度、更新权重,全靠P2P提供的高速通道,才能让NCCL等通信库高效运转。
2、高性能计算(HPC):在气象预测、流体力学仿真中,每一轮迭代都需要交换海量网格数据,P2P大幅缩短了计算等待时间。
3、云与图形:在8K视频编解码、云游戏虚拟化及图神经网络中,P2P能显著降低帧缓存转发的延迟。
未来展望:全域直连
展望未来,GPU P2P正朝着三个方向演进:一是速率更快,NVLink将继续升级,打造“整机统一显存池”;二是范围更广,结合RDMA技术,P2P将从单机扩展到跨节点、跨机房,支撑万卡集群;三是国产化加速,算力基础设施国产化浪潮全面提速。
END
✦
✦
2026中国AI智能体大会
✦
智猩猩主办的2026中国AI智能体大会7月2-3日杭州举行,大会设有开幕式,企业级AI智能体、AI智能体产品创新2场论坛,以及Coding Agent、自进化智能体、深度研究智能体、Computer-Use Agent、多智能体协同、Agent Skills、Agent Harness7场技术研讨会。最终议程已公布。

点击下方名片 即刻关注我们









