ICCV2025佳作 | 全球首个“长视频动漫”自动上色神器{燃爆国漫圈},一键统一500帧色彩风格!

AI产品会 2025-07-04 07:45

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区,

用心写好每一篇文章!



项目主页-https://cn-makers.github.io/long_animation_web/

代码链接-https://github.com/CN-makers/LongAnimation

论文链接-https://arxiv.org/pdf/2507.01945



为什么需要这个算法?--动画自动上色是真实动画产业生产的重要组成部分。长动画着色的劳动力成本很高,因此,基于视频生成模型的长动画自动着色具有重要的研究价值。现有的研究仅限于短期着色,局部范式忽略了全局信息,无法保持长期的颜色一致性。
这个算法能做什么?--为了解决上面的问题,作者提出Long Animation,这是一个动画上色新框架,已在ICCV2025发表。支持对一些2分钟的长动漫进行上色与创造性的背景生成!
这个算法效果如何?-- 大量的实验结果表明:对短期(14帧)和长期(平均500帧)动画而言,LongAnimation在保持开放域动画着色任务的短期和长期颜色一致性方面表现出色,各项指标远超其它方法。



01-LongAnimation核心优势

    在这项研究中,作者认为:理想的长期颜色一致性可以通过动态全局-局部范式来实现,即动态提取与当前一代相关的全局颜色一致性特征。

    具体来说,作者提出了LongAnimation,这是一个新颖的框架,主要包括SketchDiT、动态全局局部记忆(DGLM)和颜色一致性奖励。

    SketchDiT捕获混合参考特征以支持DGLM模块。DGLM模块采用长视频理解模型动态压缩全局历史特征,并将其与当前一代特征自适应融合。

    为了提高颜色一致性,作者引入了颜色一致性奖励。在推理过程中,作者提出了一种颜色一致性融合来平滑视频片段的过渡。

02-LongAnimation变现场景

02.01-动漫线稿上色
    如上面的视频所示,该方法可以根据输入的参考图+线稿视频生成相应的视频上色版动漫。它的出现势必让动漫行业的效率得到了极大的提升!
02.02-文本导向的背景生成
    如上面的视频所示,给定分割的前景参考图像和线条草图,longAnimation可以根据提供的提示为前景生成长期动态背景。之前的方法无法实现此功能。

03-LongAnimation上手指南

#步骤1-克隆代码到本地git clone https://github.com/CN-makers/LongAnimation cd LongAnimation
#步骤2-创建&激活虚拟环境conda create -n LongAnimation python=3.10 -y conda activate LongAnimation  
#步骤3-安装三方依赖包bash install.sh
#步骤4-下载模型权重,保存在./pretrained_weights/CogVideoX1.5-5B-I2Vwget https://huggingface.co/THUDM/CogVideoX1.5-5B-I2V# 该模型保存在./pretrained_weights/videoxl路径wget https://huggingface.co/sy1998/Video_XL/tree/main# 该模型保存在./pretrained_weights/longanimation路径 wget https://huggingface.co/CNcreator0331/LongAnimation/tree/main
#步骤5-生成长动画bash  long_animation_inference.sh


04-LongAnimation性能评估

04.01-主观效果评估
    上面的视频展示了该方法与多个SOTA的动漫线稿上色方法在相同输入下的生成结果。通过观察与分析,我们可以发现:该方法生成的视频一致性更高、色彩更逼真一些。
04.02-客观指标评估
    上表展示了该方法与多个SOTA的动漫线稿生成方法在短视频和长视频上面的多项客观指标评估结果。通过观察与分析,我们可以发现:该方法几乎在所有的客观指标上都获得了最佳的得分结果,大幅优于其它方法。

关注我,AI热点早知道,AI算法早精通,AI产品早上线!



禁止私自转载,需要转载请先征求我的同意!

欢迎你的加入,让我们一起交流、讨论与成长!

若二维码失效:关注公众号--》交流分享--》联系我们

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
IC
Copyright © 2025 成都科技区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号