米哈游发了个VLA论文

量子位 2026-11-21 00:02
henry 发自 凹非寺
量子位 | 公众号 QbitAI

米哈游,您是准备亲自下场研究“官方脚本”了?(doge)

就在米哈游崩坏AI研发团队最新发布的研究Gamer中——

你敢信,AI竟然自己玩起了《崩坏:星穹铁道》。

键盘鼠标交给AI,上来就能和可可利亚打上一架。

碰上场景机关,也能自己上手。走到“气泡弹珠”前启动装置,把自己弹到另一片区域,落地接着跑。

跟着NPC跑图同样可以,流萤在前面带路,AI就在后面跟着,上楼梯、拐弯,一路跑到广场。

我勒个乖乖,这打Boss、开机关、跟人跑图,都让AI学会了。

这以后充值页面里,会不会有个“AI代肝”选项?

(注:《崩坏:星穹铁道》是米哈游开发的一款银河冒险题材的回合制角色扮演游戏。玩家乘坐星穹列车探索不同世界,通过跑图、对话和解谜推进剧情,并组建角色队伍进行回合制战斗。)

VLA代肝,不烧心

咱言归正传,米哈游给Gamer的定位,是面向长流程、实时交互的通用视觉—语言—动作(VLA)基础模型。

米哈游发了个VLA论文图1

上面演示玩《崩铁》的主力版本,由团队基于参数量80亿的Qwen3-VL-8B进一步训练而来。

它能根据游戏画面和任务,决定按哪些键、鼠标往哪里移动、什么时候点击,再把这些操作真正执行出来。

换句话说,屏幕画面是它接收的视觉信号,任务指令告诉它要做什么,键鼠操作则是它输出的动作。

相较于以往的AI玩游戏,Gamer这次最大的亮点是把跨游戏的实时操作与长流程的记忆、规划,接进同一套VLA框架。

实战时,模型完全依靠屏幕画面、任务指令和已有记忆做判断,无需读取游戏内部接口或底层状态。

随着任务推进,它还会动态记录“刚才完成了什么”、“下一步准备干什么”。

在论文中,研究还给出了一组硬核的实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过了95%。

米哈游发了个VLA论文图2

而为了实现这一效果,研究设计了一套三阶段训练流程:

先用跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进入游戏,通过试错和反馈继续提升。

首先,是持续预训练(Continued Pre-Training,CPT),让已经具备图文理解能力的基座模型,进一步学会操作游戏。

具体来说,团队把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;鼠标往右移,镜头会转向哪里。

这些操作被整理成统一的键鼠格式,让不同游戏的数据可以进入同一套训练流程。

执行时,Gamer每隔200毫秒读取一次画面,一次安排随后六个动作块,每个约33毫秒,对应30Hz的控制节奏。

相当于看一眼,安排接下来一小段动作,再根据新画面继续调整。

其次,在微调阶段,团队整理了约1000小时高质量《崩铁》演示,把目标分成具体操作、阶段性小目标和完整任务,教模型将动作组织起来。

值得一提的是,这里有两个极其实用的工程设计,核心目的都是解决长流程中的推理延迟与上下文爆炸问题:

-稀疏思考”机制:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。
-记忆摘要机制:旧记录即将移出上下文时,模型先记下任务进度、失败尝试、重要地点和后续计划,让接下来的操作有据可循。

-“稀疏思考”:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。

最后,在在线强化学习阶段,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验的结果更新模型。

比如,有没有到达目标地点、有没有完成当前任务,都能成为训练反馈,训练后台则负责初始化和核验。

此外,配套的Streaming-vLLM推理引擎还能复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,大幅压低操作延迟。

实验测试

在跨游戏实验中,团队测试了Gamer的CPT版本,涵盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等多个游戏环境。

比如在《我的世界》里,它能自己转视角锁定史莱姆,追上去挥剑劈砍:

切到第一人称射击游戏ViZDoom,它又能迅速拉枪瞄准,连续点射逼近的敌人:

此外,在上述四项公共基准上,Gamer-8B-CPT的平均得分为29.5,所列通用模型对照中,最高为仅17.6。

而在七类小游戏、共40个未参与训练的任务中,基座模型仅有 3.2%,经过CPT升至15.0%,SFT后提升至39.2%,加入强化学习后更是达到了49.7%——

作为对比,同场竞技的通用模型最高分(GPT-6.1-Sol)仅为 17.1%。

米哈游发了个VLA论文图3

这些结果支持了团队的核心判断:通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并通过交互继续改进。

团队也在论文结尾指出,这类能力有望用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。

游戏成为AI的练习场,练出来的AI,又能反过来帮助开发游戏。

团队介绍

最后,我们来认识一下这项研究背后的团队。

论文贡献者名单共列出了8位共同一作,其中5位在米哈游实习期间参与了该项目的研发:

米哈游发了个VLA论文图4

Run Luo:新加坡国立大学计算机科学博士生,曾参与GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。

米哈游发了个VLA论文图5

张宽(Kuan Zhang):清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。

值得一提的是,他在个人主页中写道,他是英雄联盟的大师段位玩家。

米哈游发了个VLA论文图6

Qi Deng:米哈游崩坏AI研发团队成员,负责强化学习、训推基础设施,以及数据与评测建设。

Yukun Chen:中国科学院大学研究生,GameScaling共同一作、多模态推理研究RuCL一作,主要负责监督微调、数据及评测建设。

Zhihao Yang:中国科学院大学计算机专业博士生(本科毕业于同济大学),主攻游戏与智能体方向,在项目中负责强化学习、数据及评测建设。

米哈游发了个VLA论文图7

Yufei Zhang:米哈游崩坏AI研发团队成员,主要负责训练与推理基础设施建设。

Renrong Hu:米哈游崩坏AI研发团队成员,主要负责基准(Benchmark)建设与评测。

Yi Zhang:来自中国科学技术大学,在米哈游实习期间参与项目,主要负责基准建设与评测。

(其他论文贡献者可参考论文主页)

而将视角拉远,这支米哈游崩坏AI研发团队的布局已覆盖AI NPC、游戏智能体与研发自动化三大方向,持续探索大模型在游戏体验革新与工业化管线中的落地。

论文指导者之一郑银河,正是《崩坏》系列AI NPC与Gameplay技术团队的负责人。

此前,郑银河曾在云栖大会上披露过《崩铁》的AI帕姆,以及赋能内部研发的Agent平台EchoX。

而在学术方面,该团队还联合高校推出了GameScaling和Video-Arena,分别探明跨游戏持续预训练的Scaling Law,以及模型对动态游戏画面的理解边界。

参考链接
[1]https://arxiv.org/html/2611.18397v1
[2]https://mihoyo-gamer.github.io/

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

— 完 —


🔹 2026年,越来越多的人向我们证明:“人类对AI的信任还不够”。

量子位MEET2027智能未来大会来为你锁定AI进化的下一步。

百度王颖、分子之心许锦波、昆仑万维方汉、基元律动王云鹤、紫东太初王金桥、蚂蚁健康顾进杰、相干科技金贻荣、面壁智能姚远、商汤宣善明、酷哇廖文龙都来了🔍

12月9日,北京。邀请你和我们一起,看清AI、抓住AI、驾驭AI。👉

米哈游发了个VLA论文图8



🌟 点亮星标 🌟

科技前沿进展每日见

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
more
奥特曼暴论被骂翻!普通人电脑装内存太浪费,不如统一交给AI
狂赚百亿、利润翻番:国内存储厂商交出亮眼三季报
内存涨价、丢掉苹果、全球启动大裁员,高通急了?
二手内存芯片,入侵低端手机
硬刚!长鑫回应美光质疑:新一代4F² DDR5内存来了,年底前向客户送样
三大厂内存涨价7倍的锅,AI不背了
长鑫、大普微之后,年内第三家国内存储厂商上市!
英伟达揭秘AI内存突围战:全栈协同让算力性价比飙升30倍
国内存储厂商,易主?
DDR5内存价格飙升:HBM产能挤占致PC供应链承压
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号