直播电商{核武器}:大一统“正反双试穿”,主播1秒试百套,试穿演示内搭效果肉眼难辨真假!

AI产品汇 2025-08-12 08:11

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区,

用心写好每一篇文章!




项目主页-https://nxnai.github.io/Voost/

代码链接-https://github.com/nxnai/Voost

论文链接-https://arxiv.org/pdf/2508.04825


为什么需要这个算法?--虚拟试穿旨在合成穿着目标服装的人的真实图像,但准确建模服装与身体的对应关系仍然是一个持续的挑战,尤其是在姿势和外观变化的情况下。

这个算法能做什么?--NXN实验室提出了一种大一统扩散模型Voost,它可以联合解决虚拟试穿和逆向试穿问题,产生高质量的结果,在不同的姿势、服装类型、背景、照明条件和图像构图中保持稳健。

这个算法效果如何?--大量实验结果表明:Voost在虚拟试穿和逆向试穿基准测试中都取得了最先进的结果,在对齐精度、视觉保真度和泛化方面始终优于强基线。


资讯配图


01-Voost核心优势

    NXN实验室提出了Voost,它是一个统一且可扩展的虚拟试衣框架,它通过单个扩散模型同时学习虚拟试衣和逆向试衣。

    通过联合建模这两个任务,Voost使每个服装人对都能监督两个方向,并支持对生成方向和服装类别的灵活调节,在没有特定任务网络、辅助损失或额外标签的情况下增强服装与身体的关系推理。

    此外,作者引入了两种推理时间技术:注意力尺度缩放,用来增强对分辨率或掩模变化的鲁棒性,以及利用任务之间双向一致性的自校正采样。

02-Voost落地场景

02.01-虚拟试衣
资讯配图
02.02-逆向试衣
资讯配图
    如上图所示,虚拟试衣(Try on)可能很多朋友都比较熟悉,逆向试衣(Try off)很多人可能都没听说过!简单而言,就是“自动从输入的图片中提取或重建出相应的上衣和裤子”。

03-Voost上手指南

资讯配图

步骤1-访问https://huggingface.co/spaces/nxnai/Voost

链接(当前还在开发中,最近会放出)

步骤2-根据上图中的Step1选择“Try-On”或者“Try-Off”模式

步骤3-根据上图中的Step2选择试衣类型-“Upper、Lower、Full”3种类型

步骤4-根据上图中的Step3上传一张“模特图片”

步骤5-根据上图中的Step4上传一张“衣服图片”

步骤6-点击上图中的Step5中的“Run Try-On”生成虚拟试衣结果

04-Voost性能评估

04.01-主观效果评估
资讯配图
    上图展示了该方法与多个SOTA的虚拟试衣方法(Gemini 2.0、ChatGPT-4o、Kolors、Vella、Pic Copilot)等在相同的衣服图+模特图下的试穿效果。通过仔细观察与分析,我们可以发现:该方法不仅能够很好的保持模特的各种姿势,而且可以精准的将待试穿衣服精准的试穿到模特身上。
资讯配图
    上图展示了该方法与一些SOTA的逆向试衣方法(TryOffDiff、TryOffAnyone)在相同的输入下的衣服重新/解析结果。通过观察与分析,我们可以发现:该方法解析得到的上衣不仅与原图高度匹配,而且获取到的上衣的形状、尺度、风格与原图更接近一些。
04.02-客观指标评估
资讯配图
    上表展示了该方法与多个SOTA的虚拟试衣方法在VITON-HD与DressCode数据集上面的多项客观指标评估结果。通过观察与分析,我们可以得出以下的初步结论:该方法在这两个数据集上面的多项指标上面都获得了最佳的得分,远优于其它基线方法!
05-Voost效果展示
资讯配图
资讯配图
资讯配图
资讯配图
资讯配图



关注我,AI热点早知道,AI算法早精通,AI产品早上线!



资讯配图

禁止私自转载,需要转载请先征求我的同意!

欢迎你的加入,让我们一起交流、讨论与成长!

若二维码失效:关注公众号--》交流分享--》联系我们

资讯配图

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号