全球首创“3D部件+整体”生成大一统 | 告别「整坨石膏」，双引擎造出可拆解{智能积木}！ - 科技区角全球首创“3D部件+整体”生成大一统

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区，

用心写好每一篇文章！

项目主页-https://omnipart.github.io/

论文链接-https://arxiv.org/pdf/2507.06165

体验链接-https://huggingface.co/spaces/omnipart/

OmniPart

为什么需要这个算法？--创建具有明确、可编辑零件结构的3D资产对于推进交互式应用程序至关重要，但大多数生成方法只能产生整体形状，并不能精准的生成3D部件，限制了它们的实用性。

这个算法能做什么？-- OmniPart是一个具有语义解耦和结构内聚的3D资产生成模型，它不仅可以生成整体的3D资产，而且可以生成高精度的3D部件资产。

这个算法效果如何？--该方法支持用户定义的零件粒度、精确定位，并支持多种下游应用。大量实验结果表明：OmniPart实现了最先进的性能，为更可解释、可编辑和多功能的3D内容铺平了道路。

01-OmniPart核心优势

OmniPart是一种用于生成3D整体&部件的新框架，它旨在实现组件之间的高度语义解耦，同时保持强大的结构内聚性。

OmniPart独特地将这一复杂任务分解为两个协同阶段：

1）自回归结构规划模块可以生成可控、可变长度的3D零件边界框序列，由灵活的2D零件掩模严格指导，允许直观控制零件分解，而不需要直接对应或语义标签；

2）从预训练的整体3D生成器有效地改编的空间条件整流流模型，在计划布局内同时一致地合成所有3D部分。

该方法支持用户定义的零件粒度、精确定位，并支持多种下游应用。

02-OmniPart落地场景

02.01-图生边界框&Mesh

上面的视频展示了该方法可以根据输入的“原图+语义Mask”生成相应的边框与Mesh结果。它可以根据语义Mask精准的生成相应的3D资产。

02.02-图生3D资产

上面的视频展示了该方法可以根据输入的“原图+语义Mask”生成高质量的3D高斯泼溅效果，即包含组合的3D资产，也包含分部件的3D资产。

02.03-掩码导向的细粒度资产生成

上图展示了该方法在相同的彩图+不同的语义Mask下的3D边框与3D网格生成结果。它可以应用在一些细粒度资产生成方面，具有很好的应用价值。

02.04-材料编辑&几何处理

除此之外，该方法还可以应用在材料编辑（图c中给企鹅更换衣服）和几何处理（图d中对输入的目标进行几何处理）。

03-OmniPart上手指南

步骤1-访问https://huggingface.co/spaces/omnipart/OmniPart链接

步骤2-在上图中的红框中“上传输入图片/选择样例图片”

步骤3-点击上图中绿框中的“Segment Image”获得语义Mask信息

步骤4-点击上图中蓝框中的“Apply Merge”生成基于边界框和不同的语义部件

步骤5-点击上图中紫框中的“Generate 3D Model”生成整体和分块的2D资产

04-OmniPart性能评估

04.01-主观效果评估

上图展示了该方法与多个SOTA的3D部件生成方法的定性比较结果。该方法利用TRELLIS对网格和3D高斯斑点进行解码，将颜色烘焙到网格上以产生纹理部分。与其它方法相比，该方法实现了低语义耦合和高结构内聚。

04.02-客观指标评估

上表展示了该方法与多个SOTA的3D部件与整体资产生成方法的客观指标比较结果。通过观察与分析，我们可以发现：与其它方法相比，该方法在多项指标上都获得了最佳的得分，效果远优于其它方法。

05-OmniPart效果展示

关注我，AI热点早知道，AI算法早精通，AI产品早上线！

禁止私自转载，需要转载请先征求我的同意！

欢迎你的加入，让我们一起交流、讨论与成长！

若二维码失效：关注公众号--》交流分享--》联系我们