3D模型也能做“局部外科手术了”，无需训练，“想改哪里改哪里”，提效N倍+！

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区，

用心写好每一篇文章！

项目主页-https://huanngzh.github.io/VoxHammer-Page/

代码链接-https://github.com/Nelipot-Lee/VoxHammer

论文链接-https://arxiv.org/pdf/2508.19247

为什么需要这个算法？--指定区域的3D局部编辑对于游戏产业和机器人交互至关重要。最近的方法通常编辑渲染的多视图图像，然后重建3D模型，但它们在精确保留未编辑的区域和整体一致性方面面临挑战。

这个算法能做什么？--VoxHammer是一种无需训练的3D编辑方法，它可以在原生3D潜在空间而不是多视图空间中执行精确和连贯的编辑。

这个算法效果如何？-- 大量的实验表明：VoxHammer在保留区域的3D一致性和整体质量方面明显优于现有方法。该方法有望合成高质量的编辑配对数据，从而为上下文3D生成奠定数据基础。

01-VoxHammer核心优势

VoxHammer是一种新的无需训练的3D编辑方法，它可以在3D潜在空间中进行精确和连贯的编辑。给定一个3D模型，VoxHammer首先预测其反转轨迹，并在每个时间步获得其反转延迟和键值标记。

随后，在去噪和编辑阶段，作者用相应的反转延迟和缓存的键值标记替换保留区域的去噪特征。通过保留这些上下文特征，这种方法确保了保留区域的一致重建和编辑部分的连贯集成。

为了评估保留区域的一致性，作者构建了Edit3D Bench，这是一个由数百个样本组成的人类注释数据集，每个样本都有精心标记的3D编辑区域。大量实验结果表明，VoxHammer在保留区域的3D一致性和整体质量方面明显优于现有方法。

02-VoxHammer落地场景

02.01-基于图像的3D编辑

如上面的视频所示，VoxHammer允许基于图像的3D模型编辑。它可以根据输入的参考图生成相应的3D资产。

02.02-基于文本的3D编辑

如上面的视频所示，VoxHammer还支持基于文本的3D模型编辑。它可以根据用户的描述快速生成相应的3D编辑结果。

02.03-3D部件编辑

如上图所示，VoxHammer允许对3D资产上面的部件进行灵活的编辑。

02.04-复杂3D场景编辑

如上面的视频所示，VoxHammer也可以被扩展到复杂的3D场景等任务中。用户可以根据自己的需求灵活的对复杂的3D场景进行编辑。

02.05-Nerf/3DGS编辑

如上面的视频所示，VoxHammer还可以被推广到NeRF或3DGS编辑等场景中，这确实是一项很实用的功能。

03-VoxHammer上手指南

步骤1-创建一个3D掩码

步骤2-渲染RGB视角&掩码

python utils/render_rgb_and_mask.py \ --source_model assets/example/model.glb \ --mask_model assets/example/mask.glb \ --output_dir outputs

步骤3-对渲染视图进行上色

python utils/inpaint.py \ --image_path outputs/images/render_0002.png \ --mask_path outputs/images/mask_0002.png \ --output_dir outputs/images \ --prompt "A dog."

步骤4-运行3D编辑推理

python inference.py \ --input_model assets/example/model.glb \ --mask_model assets/example/mask.glb \ --image_dir outputs/images \ --output_dir outputs

04-VoxHammer性能评估

04.01-主观效果评估

上图展示了该方法与多个SOTA的3D编辑方法（Vox-E、MVEdit、Tallor3D、Instant3DiT、TRELLIS）。通过仔细观察与分析，我们可以发现：该方法的3D编辑结果远优于其它方法，3D编辑精度更高一些。

04.02-客观指标评估

上表展示了该方法与多个SOTA的3D编辑方法（Vox-E、MVEdit、Tailor3D、Instant3DiT、TRELLIS）的客观指标评估结果。通过观察与分析，我们可以得出以下的初步结论：该方法的各项指标远优于其它的方法，与第二名之间拉开了较大的差距！

关注我，AI热点早知道，AI算法早精通，AI产品早上线！

禁止私自转载，需要转载请先征求我的同意！

欢迎你的加入，让我们一起交流、讨论与成长！

若二维码失效：关注公众号--》交流分享--》联系我们

资讯配图