广告植入新方式 | OmniInsert让虚拟商品「长」进实拍视频不留痕，无需任何掩码！

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区，

用心写好每一篇文章！

项目主页-https://phantom-video.github.io/OmniInsert/

代码链接-https://github.com/Phantom-video/OmniInsert

论文链接-https://arxiv.org/pdf/2509.17627

为什么需要这个算法？--基于扩散模型的视频插入任务的最新进展令人印象深刻。然而，现有的方法依赖于复杂的控制信号，但在主题一致性方面存在困难，限制了它们的实际应用。

这个算法能做什么？--OmniInsert是一个新颖的统一框架，用于从单个和多个主题参考中插入无掩模视频。该方法可以支持在视频中“插入人物、其它目标、多目标、虚拟+真实”等场景，很适合做广告植入！

这个算法效果如何？--为了解决该领域缺乏基准的问题，作者引入了InsertBench基准，包括精心挑选的主题的不同场景。该方法在Insert Bench撒好上的的评估结果表明：OmniInsert的表现优于最先进的闭源商业解决方案Kling。

01-OmniInsert算法简介

本文主要研究无需掩模的视频插入任务，旨在解决三个关键挑战：数据稀缺、主题-场景平衡和插入协调。

为了解决数据稀缺的问题，作者提出了一种新的数据管道InsertPipe，它可以自动构建各种交叉对数据。基于该数据管道，作者开发了OmniInsert，这是一个新颖的统一框架，用于从单个和多个主题参考中插入无掩模视频。

具体来说，为了保持主题场景的平衡，作者引入了一种简单而有效的条件特定特征注入机制。同时，作者设计了主题聚焦损失来改善主题的细节外观。为了进一步增强插入协调，作者提出了一种插入偏好优化方法，通过模拟人类偏好来优化模型，并在引用过程中加入上下文感知重写器模块，将主题无缝集成到原始场景中。

02-OmniInsert落地场景

02.01-视频中插入人物

如上图所示，左边展示的是待插入的人物和相应的文本提示词，上面一行展示的是原始的输入视频，下面一行展示的是将参考人物插入视频之后的效果。

02.02-视频中插入新对象

如上图所示，除了基础的人物之外，该方法还支持插入其它的目标，如上图中的“项链、动物”等。

02.03-真实&虚拟混合插入

如上图所示，该方法不仅支持插入一些真实的目标，而且还支持在真实的视频中插入一些虚拟的目标。

02.04-视频中多对象插入

03-OmniInsert性能评估

03.01-主观效果评估

上面的视频展示了该方法与多个SOTA的无需掩码的视频插入方法（Keling、Pika-Pro）的主观评价结果。通过观察与分析，我们可以发现：在多种不同的场景下，该方法的插入效果优于其它基线方法，插入后的事情更真实、更自然。

03.02-客观指标评估

上表展示了该方法与多个SOTA的视频对象插入方法（Pika-Pro、Kling）的客观指标评价结果。通过观察与分析，我们可以得出以下的初步结论：无论是在对象一致性、文本与视频对齐上面，还是在视频质量上面，该方法都获得了最佳的得分，这在不一定程度上证明其有效性。

04-OmniInsert效果展示

关注我，AI热点早知道，AI算法早精通，AI产品早上线！

禁止私自转载，需要转载请先征求我的同意！

欢迎你的加入，让我们一起交流、讨论与成长！

若二维码失效：关注公众号--》交流分享--》联系我们

资讯配图