云游戏可能要发展到新阶段：GeForce NOW比游戏机的延迟还低？

引言：今年Gamescome上，NVIDIA发布的新技术中最吸引我们的是GeForce NOW云游戏的更新，据说游戏响应延迟甚至比在本地玩PS5 Pro还低…

关注云游戏的玩家应该知道，“云游戏”至少到目前为止都还不是玩电子游戏的主流方案。从不同研究机构公布的2024云游戏市场价值来看，云游戏在整个游戏行业的市场份额应该是刚刚超过了1%，虽然部分机构认为2030年其市场价值占比有机会达到10%(via Grand View Research, Precedence Research)...

抛开产业链阻力不谈，对游戏玩家而言，云游戏的主要问题大概集中在延迟和画质两方面。画质大概率受限于串流编码压缩致画面分辨率和动态清晰度不够，延迟则主要表现在网络不稳定导致的高延迟，都令云游戏的游戏体验不够美丽，或者相比在本地玩游戏仍有较大差距。

就云游戏的画质问题，目前似乎还没有特别多的量化研究;但延迟方向的研究论文，则从本世纪10年代就不少了。大部分近代论文都认为，云游戏的高延迟，令其无法适用于诸如FPS、动作、竞技等延迟敏感型游戏。但如果说现在云游戏比本地游戏的响应延迟还低，那市场情况又将是怎样呢?

最近的Gamescom上，NVIDIA就提到新版GeForce NOW Ultimate(5080)下的云游戏响应延迟能做到30ms，相比PS5 Pro游戏主机本地玩相同游戏的49ms还低;而且据说画质达到“前所未有”的影视级水平。这真的有可能吗?

虽然今年NVIDIA在Gamescom之上发布的新技术和产品更新不只有GeForce NOW，且国内大部分玩家暂时还享受不到GeForce NOW服务，但这次GeForce NOW的更新对云游戏的整体发展必然是有积极作用的——所以我们期望简单撰文谈一谈。

云游戏就像是在PC本地玩游戏?

NVIDIA在媒体会上说，本次GeForce NOW更新的目标是让云游戏体验，就像在PC本地玩游戏——尝试解决的两大问题就是画质和延迟。先不谈画质(云游戏领域提升画质的研究优先级似乎是显著低于降低延迟的)，简单说说“延迟”。

从终端用户的角度来看，这里的“延迟”在很多自10年代开始的研究中，一般是指响应延迟(response delay)：比较符合直觉的定义是，从按下鼠标或键盘的那一刻起，一直到屏幕对该操作做出响应的第一帧，这之间的时间就可以被定义为响应时间或响应延迟。

对于本地游戏而言，常见的研究将响应延迟切分成几个部分：输入延迟(输入设备本身的两次相邻采样事件之间的时间)、游戏管线CPU时间(例如处理输入操作、实现游戏逻辑的时间)、游戏管线GPU时间(显卡渲染游戏下一帧的时间)、帧传输(将帧从backbuffer传往frontbuffer，以及到达显示屏的时间)、屏幕响应时间(屏幕显示该帧的时间)。在此，我们将这部分延迟称为A延迟。

关注NVIDIA技术的读者应该知道，类似NVIDIA Reflex之类的技术降低了其中某些环节的延迟。还有G-Sync之类的技术也对总体的延迟产生了影响。

而对云游戏来说——作为一种典型的SaaS模型，其原理无非是在服务器/数据中心进行游戏逻辑计算和图形渲染，然后把画面传递到用户本地显示出来的过程——传输网络通常就是互联网。

来源：Measuring the latency of cloud gaming systems

所以除了上述响应延迟，还要加上另外几个延迟要素：上行数据传输(把鼠标操作之类的用户输入，传输到云游戏服务器的时间)、捕获与编码游戏画面(捕获服务器渲染的帧，并将其编码为视频流的时间)、下行数据传输(将视频流传往客户端的时间)、解码(本地将视频流解码为显示画面)。这部分延迟称作B延迟。

似乎从直觉来看，云游戏相较本地游戏还增加了这么多新的环节，其延迟必然大于本地游戏。不过这里还需要考虑一种可能性：部分paper提到，由于云上硬件设备通常可以用旗舰级配置，则A延迟相较很多玩家的本地游戏设备，可以做到更短;加上缩短与客户端之间的地理位置距离之类的方案，达成B延迟的压缩，则让云游戏的延迟整体低于本地游戏延迟，也是完全可能的。

只不过至少从2018年以前的paper来看，似乎也还没有云游戏服务真正做到了这样的理想水平：无论是借助CDN让边缘数据中心更靠近玩家客户端降低B延迟，还是服务端借助软硬件升级来降低A延迟——一般云游戏会增加40-150ms的延迟。那么NVIDIA这次是怎么做的呢?

Blackwell版的GeForce NOW

NVIDIA在媒体会上提到GeForce NOW更新了几个大项：(1)服务器引入GeFoce RTX 5080;(2)CQS(Cinematic Quality Streaming，影视级画质串流);(3)低延迟串流(low latency streaming);(4)新的合作伙伴设备;(5)新游戏加入;(6)Install-to-Play...

这里面和延迟相关的主要是(1)(3)。(2)要是画质方面的提升(即便它必然也和延迟有关)，而(4)(5)(6)是生态构建相关的。所以我们先看看(1)和(3)。

第(1)点显然是能够有效降低A延迟的举措——虽然就服务器集群的角度来看，这里的A延迟包含的变量会显著多于玩家PC单设备，比如GPU、节点、机柜之间的通信;这也是NVIDIA每次发布新显卡之后，GeForce NOW都会跟进的基础设施升级。新版的基础设施名为GeForce RTX 5080 SuperPod Network。

NVIDIA表示，这批新的SuperPod机柜服务器装配“特别版本的RTX 5080”——云化以后实现RTX 5080相似性能的底层硬件想必也未必就是RTX 5080显卡本身;CPU则为4.4GHz主频、8核16线程的AMD Ryzen Threadripper Pro，“相比现有的GeForce NOW服务器快50%”;系统内存大小加倍。

另外就是SuperPod互连网络，采用ConnectX-7 SmartNIC，以及Rivermax技术(一个协同NVIDIA GPU, ConnectX NIC和Bluefield DPU的networking SDK，帮助实现更低延迟、更好的可扩展性)——这里尤表现为基于ConnectX NIC和Bluefield DPU从硬件层面实现数据包传输的精准控制，即所谓的hardware packet pacing。

对于GeForce NOW Ultimate会员而言，新版即可享受这部分基础设施更新。Blackwell新架构自不必多说，今年CES期间发布的GeForce RTX 50系显卡更新达成图形渲染和AI性能提升之外，引入DLSS 4、RTX Mega Geometry(实时处理大量复杂集合体的渲染技术)、神经渲染达成的完整光线追踪支持等。关注NVIDIA最新技术的读者应该知道，DLSS 4技术除了超分、多帧生成等，Reflex之类的技术本身也着力在大幅降低A延迟。

媒体会上还提到新的SuperPod面向Ultimate会员，提供48GB的frame buffer存储资源，相较RTX 4080服务器的Tensor core数量多1倍，可达成更好的AI性能表现，尤其对于AI模型驱动的智能NPC支持(如NVIDIA ACE);整体上相比RTX 4080服务器，RTX 5080 SuperPod性能提升至多2.8倍(应当是指对于每个用户的实际游戏帧数提升)，和PS 5 Pro游戏机相比则快了3倍。

RTX 5080加持的GeForce NOW支持的分辨率和帧率选项包括5K 60/120fps、1080p 360fps、1440p 240fps。

RTX PRO服务器

值得一提的是，前不久的SIGGRAPH上NVIDIA发布了基于Blackwell的RTX PRO系统，单系统内8个RTX Pro 6000 Blackwell服务器版，而且服务器是2U规格。或许它和GeForce RTX 5080 SuperPod是不同的对外宣传形态。多提一句，NVIDIA在SIGGRAPH媒体会上也确认了RTX PRO服务器是OVX系统的正式接班人。

LLS低延迟串流技术方案

针对GeForce NOW整个链条上的延迟优化，如前文所述，NVIDIA谈到所谓的LLS低延迟串流方案——这应该是一组技术方案的集合。媒体会上NVIDIA就此强调了从三个环节入手降低云游戏延迟：GeForce NOW服务器侧、网络、端侧设备。

服务器侧也就是上一个段落提到的GeForce RTX 5080 SuperPod Network，包含NVIDIA Reflex低延迟、Rivermax技术(Rivermax主要着眼的应该是降低RTX 5080 SuperPod网络基础设施内部的延迟，所以我们将其归入A延迟)。

真正来到网络传输这部分——也就是我们所说的B延迟，NVIDIA表示与运营商合作优化针对云游戏的网络环境。“过去几十个月，我们和这些ISP就L4S技术进行合作，大幅降低数据包在互联网上传输的延迟。”NVIDIA对此处L4S网络(Low Latency, Low Loss, Scalable Throughput)提到“已经开始在真实网络中测试L4S技术”。

这就需要与运营商合作了——现有合作方包括T-Mobile、Comcast、英国电信等。L4S是一种新型的互联网标准(RFC 9330，目标在于降低延迟、最小化数据包损失、尽可能维持高吞吐)——NVIDIA官网此前有提到部分机制如GeForce NOW流量会标记ECN-Capable Transport，发生网络拥塞时，支持L4S的路由器标记Congestion Experienced，然后GeForce NOW会动态调整比特率和帧同步。具体的机制，感兴趣的同学可以去看看L4S标准。

最后就是客户端侧了，也就是支持跑GeForce NOW的端侧设备，低延迟技术点包括云G-Sync实现的刷新率同步，以及Reflex可达成的360fps串流。

基于这三个环节的优化，有了文首提到更新基础设施过后的GeForce NOW Ultimate 360Hz模式下，可达成低至30ms的响应延迟(网络环境为RTD往复延迟10ms)——具体是在玩《守望先锋2》之时达成的效果，“这可不是从客户端或应用往数据中心的ping时间，而是玩游戏的整体延迟”——所谓的click-to-photon，即前文定义的“响应延迟”。

虽然我们认为和PS 5 Pro(120Hz模式下响应延迟49ms)这种较老的硬件去比价值也并不大，但要知道这的确是云游戏和本世代游戏机的对比，还是足够令人惊叹的。NVIDIA表示，这样的延迟表现令GeForce NOW完全能够胜任竞技游戏，《守望先锋2》《漫威争锋》《战地2042》都不在话下。于是NVIDIA把GeForce NOW称作“新一代主机”，“就像用本地游戏PC一样”。

画质据说有大提升

新硬件及网络基础设施建设普及可能也需要一定的时间，其中更要看ISP运营商是否足够给力，30ms的确是相当有吸引力的数字——即便对位于不同地理位置的GeForce NOW或其他云游戏用户而言，与其最近的分布式网络部署的边缘数据中心也至关重要。而云游戏体验另一个至关重要的因素就是画质了。

通常数据中心渲染过后的画面经过编码压缩，通过传往客户端再解码，可能令高动态画面的画质大幅下降，表现为模糊、马赛克等——玩过云游戏的读者应该都深有感触。对于画质问题，NVIDIA这次引入了名为CQS(Cinematic Quality Streaming，影视级画质串流)方案，据说能让云游戏的画质“大幅提升”(huge improvements)。

“工程师在我们的串流软件(streaming software)中实施了多个新技术;我们构建起了新的模式，所有这些设置都能让GFN在画面方面媲美本地游戏PC。”具体的项目包括上图这些，比如YUV 4:4:4 Chroma色彩采样格式——有助于实现更锐利的边缘、更清晰的文字和UI元素、更好的梯度，以及更准确的色彩还原;还有AV1 + RPR(reference picture resampling)，实现更平滑的分辨率切换和更稳定的串流。

另外CQS技术集也加入了AI特性(AI Video Filter)，有助于实现更清晰的动态画面，看起来应当也属于一种本地画面的动态构建了——不知道是否需要以及需要多少本地AI算力支持。

媒体会上NVIDIA给出了《黑神话：悟空》云游戏过程中，开启CQS之后和传统模式下(基于RTX 4080的服务器)的画质对比。尤其游戏中的绿植细节，用上CQS之后的本代GeForce NOW明显具备更优的画质，动态画面呈现也“前所未有的好”(better than ever)。据说在《刺客信条：影》《黑神话：悟空》《四海兄弟：故乡》等游戏中，画质都有大幅提升。

具体有多好，大概就要等实际上手用户的真实评价了。而且到目前为止，云游戏的画质应当都还没有可量化的明确指标。

新游戏和其他新特性

在RTX 5080 SuperPod network、LLS、CQS的加持下，NVIDIA称这次更新是GeForce NOW历史上最大幅度的一次发布。至少这些新技术和新思路，应该是可以启发云游戏整个产业向前发展的。这些更新预计在9月份上线，会员订阅价格保持不变。当然除了技术特性达成更低的延迟和更好的画质，丰富游戏库和生态也是传统更新项目了。

在移动掌机领域，NVIDIA宣布两款设备体验更新：Steam Deck现在支持在GeForce NOW以90fps串流玩游戏，且“相比本地玩游戏，续航翻倍”，“我们实验室环境下，有时甚至能达到3倍续航”;另一款联想Legion Go S，支持120fps玩GeForce NOW，“也可以连接电视串流4K 120fps”。游戏外设方面，新增了对于罗技Racing Wheels力反馈方向盘和LG 2025、2026电视与显示器的4K 120fps with HDR和5K 120fps OLED串流支持。

这波加入GeForce NOW的最新3A游戏包括有《无主之地4》《使命召唤：黑色行动7》《消逝的光芒：野兽》等——能跑在新版Blackwell基础设施下的最早一批游戏预计会有20款，后续每周都会有新游戏加入。另外值得一提的是这次新发布的“Install-to-Play”——这应该是个面向玩家可以把游戏下载到云存储资源之上，藉由订阅存储容量玩到更多Steam游戏的方案——和中国用户关系也不大，就不多做介绍了。

其他NVIDIA在Gamescom上的技术发布，除了更多游戏支持RTX技术集(主要是光追和DLSS 4)外，还有几个关键：

对于CES上发布的RTX Hair(让头发细节和光影看起来都更出色的技术特性，如上图)，游戏《夺宝奇兵：古老之圈》开始采用;
Mod工具RTX Remix社区出现很多新东西，比如说新的Adobe Substance插件(Skurtyyskirts)，还有人做了基于纹理自动生成自发光贴图的工具，以及对于更多老游戏的兼容支持——包括有人做了RTX Remix和虚幻1引擎的适配(D3D9DrvRTX?);
RTX Remix新版本增加了粒子系统(Particle System)，老游戏加入粒子之后就能产生对应的光影、反射、碰撞等真实效果...
基于NVIDIA ACE的新游戏《Oversight Bureau》发布，这是个完全基于语音的解谜游戏——即玩家通过麦克风讲话和游戏互动，游戏有个“叙事引擎”，藉由AI模型来理解用户输入，并且输出对应的预录好的内容推进游戏，AI推理完全在本地进行;
游戏AI助手Project G-Assist更新，新版本使用的系统资源大幅降低，且能在理解用户请求的情况下，就自动调用对应的插件完成任务;
Project G-Assist社区和生态也在完善中，涌现了不少新的插件扩展AI助手的能力，比如可搜索特定游戏相关攻略的Omniplay，本地生图的Flux等;新插件可通过Mod.io访问使用;
NVIDIA App更新：提供DLSS override全局开关;以及RTX 40系显卡现在也开始支持Smooth Motion;更多控制面板的功能选项加入到NVIDIA App之中。