告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙

智猩猩 2026-06-27 18:29

文章转载自公众号:TWCL探微芯联


本文只做学术/技术分享,如有侵权,联系删文。


在大模型与超算时代,单张GPU早已不堪重负。但当我们将几十、上百张GPU堆在一起,你是否想过这样一个问题:GPU之间的数据传输,真的够快吗?


在早期的多卡协作模式中,数据交互必须经过一条漫长的路径:源GPU显存 → 主机内存 → CPU调度 → 目标GPU显存。这种“GPU-内存-GPU”的中转模式,就像寄同城快递却要先绕道外省,不仅产生了极高的延迟,还占用了宝贵的CPU资源和PCIe总线带宽。在大规模训练中,通信开销甚至能占到总耗时的40%以上,导致多卡空转,算力浪费


为了填平这个坑,GPU点对点(P2P)通信技术应运而生。



GPU P2P技术的核心逻辑非常简单:GPU直接对话。依托CUDA 统一虚拟地址(UVA),系统为所有GPU显存分配了统一的寻址空间,GPU之间不再需要CPU“翻译地址;再配合DMA直连机制,数据可以在显存之间直接搬运,全程无需CPU介入。这就好比把快递驿站撤掉,让两个邻居直接串门,效率自然天差地别。不过需要注意的是,早期P2P的高效通常局限于同一CPU节点下的GPU设备。跨节点通信或消费级显卡往往会受到硬件限制,无法跑满性能。



经过十余年迭代,P2P技术已形成两条主要赛道:


通用型(PCIe P2P): 这是大多数服务器和消费级设备的标配。PCIe 4.0 x16的双向带宽约为63GB/sPCIe5.0则提升至126GB/s。它解决了有无问题,但在多卡并发时容易遭遇总线争抢。


性能型(NVLink P2P): 这是高端数据中心的"专属高速公路"。以H100为例,NVLink 4.0单卡带宽高达900GB/s,最新的NVLink6.0更是飙升至3.6TB/s。配合NVSwitch芯片,它能实现多卡无阻塞全速互通,在 NVSwitch 全互联拓扑下,卡集群的加速比可趋近线性。


延迟:传统中转约15-18微秒 → PCIe P2P降至5-6微秒 → NVLink进入亚微秒级(~1μs)。


带宽:相比传统模式,NVLink提供了数十倍的吞吐能力。


告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图1


P2P技术早已不是实验室里的概念,而是支撑现代AI的底层设施:


1大模型训练:这是P2P最核心的战场。无论是数据并行还是模型并行,千亿乃至万亿参数在多卡间同步梯度、更新权重,全靠P2P提供的高速通道,才能让NCCL等通信库高效运转。


2高性能计算(HPC):在气象预测、流体力学仿真中,每一轮迭代都需要交换海量网格数据,P2P大幅缩短了计算等待时间。


3云与图形:8K视频编解码、云游戏虚拟化及图神经网络中,P2P能显著降低帧缓存转发的延迟。



望未来,GPU P2P正朝着三个方向演进:一是速率更快NVLink将继续升级,打造整机统一显存池;二是范围更广,结合RDMA技术,P2P将从单机扩展到跨节点、跨机房,支撑万卡集群;三是国产化加速算力基础设施国产化浪潮全面提速。


END


2026中国AI智能体大会

智猩猩主办的2026中国AI智能体大会7月2-3日杭州举行,大会设有开幕式,企业级AI智能体、AI智能体产品创新2场论坛,以及Coding Agent、自进化智能体、深度研究智能体、Computer-Use Agent、多智能体协同、Agent Skills、Agent Harness7场技术研讨会。最终议程已公布。

告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图2
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图3
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图4
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图5
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图6
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图7
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图8
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图9
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图10
告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图11

告别“中转站”:GPU P2P通信,解锁多卡算力的隐形钥匙图12



点击下方名片 即刻关注我们

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
GPU
more
腾讯“送钱送订单”!将收获一家国产GPU上市公司
不加GPU,万卡集群算力暴涨15%
阿里达摩院发布GPU版敏迭求解器,破解亿级变量“不可解”困局
刚刚,燧原科技过会!国产GPU四小龙终于集齐
存储墙破局:HBM光互连,GPU算力的下一个拐点
燧原科技科创板正式过会!国产GPU四小龙即将会师
用国产GPU训练AI给自己写内核,摩尔线程刷榜硬核基准
走进国产GPU一线,沐曦股份首届开源英才夏令营正式启动报名
国内唯一打入NVIDIA MGX生态,英诺赛科GaN方案覆盖从800V到GPU
手机厂商即将杀入云台相机市场!大疆回应:欢迎良性竞争;腾讯参投林俊旸AI公司2000万美元;燧原科技IPO过会,GPU四小龙齐聚资本市场
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号