长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26

量子位 2026-11-16 22:05
V-CAST团队 投稿
量子位 | 公众号QbitAI

AI看长视频,模型需要逐帧把画面编码成视觉Token,再送进语言模型理解。

帧数一多,重复的画面会吃掉计算和显存;可压缩太狠,短暂出现的线索、前后动作变化又很容易被漏掉。

针对这一问题,来自中山大学、香港理工大学等校的研究团队提出了V-CAST:在视觉Token送入语言模型前进行筛选剪枝,全程免训练、即插即用。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图1

剪枝后还能保留多少理解能力?团队在Qwen3-VL、LLaVA和Qwen2.5-Omni的6个模型配置、10个视频及音视频基准上进行了验证:

剪枝后还能保留多少理解能力?团队在Qwen3-VL、LLaVA和Qwen2.5-Omni的6个模型配置、10个视频及音视频基准上进行了验证:

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图2
△V-CAST的长视频理解表现、性能保留率与推理效率。

压缩视频Token,关键在于时空信息覆盖

视频模型将画面编码成视觉Token。帧数越多,语言模型生成答案前的预填充计算越重。重复背景和动作也会占用计算与显存,因此可以先筛掉部分Token。

难点是,动作排序、计数和事件定位需要串起不同时刻的线索。若预算集中在少数画面上,模型就可能漏掉动作前后的变化。因此,压缩既要覆盖不同时间段,也要保留帧内细节。V-CAST先决定每帧留多少Token,再决定留哪些,并保留原有时空坐标。

两个观察:时间覆盖与位置对应

观察一:预算相同,时间覆盖也可能不同

每帧该分到多少Token?均匀分配能兼顾各个时刻,却不会区分短暂的动作切换与长时间重复的背景。

按全局差异分配预算容易找到特别的画面,却可能遗漏阶段之间的变化。V-CAST关注相邻帧的转折,把更多预算分给动作或场景正在变化的时刻。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图3
△不同策略在长短视频中的帧预算分配。

观察二:特征压缩后,位置仍需对应

压缩后的内容还需与原位置对应。Qwen3-VL为视觉Token记录时间、高度和宽度坐标。将不同位置的Token合并后,新特征就难以对应到某个原始位置。

V-CAST直接选择Token子集,保留原始顺序和坐标。为验证这一选择,论文比较了局部池化、固定位置选择与随机选择。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图4
△左:合并和直接选择Token时的位置变化;右:在2×2局部网格内,比较池化与直接选择的效果。

在相同25%保留率下,两种直接选择策略均优于局部池化,支持了保留位置对应关系的设计。

两步压缩:先分预算,再选细节

基于这两个观察,V-CAST在视觉编码与投影之后、语言模型预填充之前,依次完成帧间预算分配和帧内筛选。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图5
△V-CAST先分配每帧的Token预算,再筛选帧内Token。

V-CAST用平均特征概括每帧,再用局部曲率衡量特征随时间变化的转折。转折越明显,分配的Token越多,同时为每帧保留最低额度,兼顾变化与覆盖。

拿到每帧预算后,V-CAST给Token计算两项得分:

两项得分相加后,每帧按预算保留高分Token,兼顾显眼区域与局部细节。整个过程无需计算Token两两相似度,额外开销较小。

选中的Token沿用原始顺序、时空坐标和位置编码。整个流程无需训练,也无需提取解码器注意力权重。

以Qwen为主:6个模型配置、10个基准

实验从Qwen3-VL-8B扩展到32B、MoE、LLaVA和音视频模型,在统一设置下与其他五个方法进行比较。

Qwen3-VL-8B:比较输入长度与压缩预算

Qwen3-VL-8B主实验覆盖32/64帧输入、25%/15%视觉Token保留率,在四个视频理解基准上比较表现。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图6
△Qwen3-VL-8B-Instruct主实验。

32帧、25%保留率下,V-CAST四项基准平均得分63.1,达到原模型的98.2%。64帧下得65.0分,比次优方法VidCom²高1.0分。预算压至15%时,32帧和64帧的平均分仍均为所比较压缩方法中的最高。

从8B到32B,再到MoE

扩展到Qwen3-VL-32B-Instruct后,在32帧、25%保留率下,V-CAST平均得分66.5,高于VidCom²的65.6。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图7
△Qwen3-VL-32B-Instruct在32帧输入下的评测结果。

剪枝还让部分受显存限制的评测得以完成。同一运行配置下,未压缩的Qwen3-VL-30B-A3B-Instruct无法完成64帧评测;V-CAST在25%保留率下完成评测,平均得分68.1。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图8
△Qwen3-VL-30B-A3B-Instruct在64帧输入下的评测结果。OOM表示显存不足。

从Qwen扩展到LLaVA与音视频模型

换到LLaVA-OneVision-7B(32帧)和LLaVA-Video-7B(64帧),保留25%的视觉Token,仍分别达到原模型99.5%和95.4%的平均表现。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图9
△LLaVA-OneVision-7B和LLaVA-Video-7B的评测结果。

在Qwen2.5-Omni-7B的768帧实验中,音频输入保持完整,视觉Token保留25%。V-CAST五项基准平均得分49.6,达到原模型的97.1%,总推理耗时降低50.0%。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图10
△Qwen2.5-Omni-7B在768帧设置下的五项基准得分及总推理耗时。

从32帧到256帧:检验长视频上下文利用

更多帧既带来新线索,也带来重复画面。实验将输入从32帧增加到256帧,检验模型能否利用新增信息。在256帧下,V-CAST四项长视频评测平均分领先VidCom²1.5分。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图11
△不同方法在32~256帧输入下的长视频理解表现。

效率:预填充延迟降低51.2%,总耗时降低13.6%

剪枝主要减少预填充计算,完整评测还包含视频读取、视觉编码和答案生成,因此总耗时降幅更小。测试采用Qwen3-VL-8B-Instruct,在VideoMME上输入32帧、保留25%的视觉Token。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图12
△Qwen3-VL-8B-Instruct在VideoMME上的评测得分和推理开销。

相比未压缩模型,V-CAST预填充延迟降低51.2%,峰值显存降低13.0%,完整评测耗时降低13.6%。LLaVA-OneVision-7B的预填充耗时也从96.6秒降至26.5秒,峰值显存降低11.4%。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图13
△LLaVA-OneVision-7B的预填充延迟、生成延迟和峰值显存。

消融与迁移:收益来自哪里

在相同预算下替换各个组件后,曲率分配在32帧和64帧下均取得最高平均分。以32帧为例,MLVU与VideoMME总体得分的均值从全局独特性策略的62.6升至63.1。

帧内筛选也需要两个信号互补:只看特征差异可能漏掉与整帧特征相近的关键信息,只看激活强度又可能留下重复区域。两项得分结合时,平均分最高。

曲率分配也可单独复用。实验保留VisionZip和VidCom²原有压缩机制,加入曲率预算分配。在25%保留率下,两者在LongVideoBench、MLVU和VideoMME上均有提升。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图14
△为VisionZip和VidCom²加入曲率预算分配前后的表现。

案例:预算分到了哪些时刻

在寻找黄道光出现日期的案例中,关键线索只出现片刻;统计釉色种类则需关注多个上釉阶段。V-CAST分别在天象出现的片段和上釉转折处保留了更多Token。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图15
△两段视频中各帧保留的Token数量。红线表示V-CAST。

保留的画面也影响最终回答。在婚礼集数定位和杂技动作识别两个案例中,V-CAST均给出了正确答案。

长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26图16
△不同方法在剧情定位和杂技识别案例中的回答。

总体而言,V-CAST通过曲率分配时间预算、双锚点评分筛选空间细节,并保留原始坐标,在无需训练的前提下压缩视觉Token。

不同模型和输入长度上的结果表明,合理分配有限预算,有助于兼顾视频理解表现与推理效率。

论文题目:V-CAST:Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models 作者:林欣莹、刘旭洋、王一宇、马腾、李佳晟、温子辰、任文琦 单位:中山大学深圳校区、深圳河套学院、香港理工大学、香港科技大学(广州)、上海交通大学
项目主页:https://xinyouu.github.io/V-CAST/
代码:https://github.com/xinyouu/V-CAST

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

— 完 —


【学术投稿】请在工作日发送邮件至:ai@qbitai.com,标题注明【投稿】,并告诉我们:你是谁,从哪来,投稿内容附上项目/主页链接,以及联系方式。

🎓 我们会 (尽量) 及时回复你 :)


🌟 点亮星标 🌟

科技前沿进展每日见

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
IP
more
消息称 iPhone Duo 2 原型机配备 Face ID,苹果定下四个升级目标
NeurIPS 2026|AI搜索时搜到的图,为什么用不了?港科大给每张图编了号
Anthropic 启动 IPO 路演,创始人将套现 17.5 亿美元;谷歌最强 AI 模型正式开放;任天堂招新:经典游戏保存员 | 极客早知道
iPhone Duo二代要来了?核心升级曝光,初代用户哭了
OpenAI Q3营收达100亿美元,Anthropic启动IPO路演,AI巨头加速资本竞逐?
英伟达宣布CEO黄仁勋辞职,腾讯辟谣裁员50%,演员赵丽颖起诉红果短剧侵犯肖像权,曝转转秘密提交香港IPO申请,这是今天的其他大新闻!
她把鸡蛋卖给山姆,要IPO了
谷歌+苹果+微软“大项目”!iPhone Duo成功运行Win11
一周亏了一千,我劝你先别买 iPhone Duo
思灵机器人完成超30亿元融资,英伟达、软银都投了;行星减速机企业IPO过会,拟募8亿元扩产 | 一周资本大事件
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号