3DGS无限重建,李飞飞发布新一代世界模型Marble~

3D视觉工坊 2025-09-22 07:00

来源:GIS小丸子

「3D视觉从入门到精通」知识星球(点开有惊喜) !星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研,欢迎扫码加入

资讯配图
昨天,李飞飞创办的企业world labs发布了他们最新的成果,一个真3D的世界生成模型Marble。根据介绍,通过给定一张图片或文字提示,Marble就能生成一个连续的 3D 世界,没有时间限制、没有变形、没有不一致性。
不过目前还是处于一个有限预览版的状态,还需要加入waitlist之后等待开放试用,所以暂时还无法体验模型模型本身,但是他们在Explore中开放了一些列的生成作品,可以通过这个作品来了解模型的生成情况。
资讯配图
world labs本次发布的marble模型和之前类似的模型存在明显的两个不同的地方:
一、真3D非连续视频,过去声称是世界模型或者是世界模拟器的生成结果一般都是一段连续的视频,而Marble的输出则是真3D的。
二、连续场景非3D单体,之前也有不少3D生成模型,但是这类模型更倾向于生成单个的3D资产对象,而Marble则更倾向于输出连续的3D场景。
三、使用3DGS格式,不同于过去的3D生成的导出格式,Marble直接使用了3DGS作为输出格式,虽然目前无法直接下载,但是打开Network还是可以发现生成的模型都被打包到了spz格式中,如果你有阅读过我上一篇文章《3DGS重建/切片/Cesium加载全流程~》,你会发现Cesium在3DGS版本的3D Tiles 中也使用了Niantic开源的spz压缩方法,但是没有做LOD所以即使使用了spz还是30M的体积,这个地方没有做授权控制,是可以直接使用这个地址把这个模型下载下来的。
资讯配图
在渲染上,则使用了THREE.js+SPARK插件的方式,虽然现在3DGS的轮子已经很多了,这下world labs又贡献了一个开源的3DGS插件。
资讯配图
资讯配图
如果缩放模型,很容易就可以穿透场景,然后就可以看到这样一个非常典型的3DGS模型的样子。
资讯配图
我们找了一个如下的非室内的场景,然后可以把他下载下来,然后使用spz工具将该模型进行解压成ply格式。
资讯配图
直接使用brush进行打开就可以看到完整的结果,然后我就想把这个模型转换成3D Tiles加载到Cesium中。
因为我相信这类工具未来会成为建模以及AI训练的重要数据来源,这种生成能力最好的应用就是作为模拟器训练各种AI模型,因为他可以提供足够的多样性和真实感。
资讯配图
我就直接使用3DGS重建/切片/Cesium加载全流程~》开发的spz2tileset工具进行转换,转换后发现得到的模型颜色全部丢失,初步估计应该是颜色丢失的问题,后面详细分析了一下发现marble的输出丢掉了球谐参数,只保留了三个颜色分量。
资讯配图
而打开直接使用brush重建的3DGS输出可以看到,其实这个部分还有大量的参数,所以这个部分也占用了比较大的存储空间,因而正常压缩的时候都会选择将这些参数丢弃。
资讯配图
针对这个问题,我重新调整了转换工具,得到了一个支持压缩版本的spz2tileset3d_compress工具,然后就可以将模型正确的转换成3D Tiles,并且也可以Cesium加载进来,但是同样发现,周边还是存在了大量的干扰点,所以还需要对这个模型进行修建,将外面这一圈的效果不好的高斯点删掉。
资讯配图
修建过之后就可以得到一个比较干净的目标场景的显示,然后将修改好的模型进行转换之后,再重新加载到场景中就可以看到目标场景的显示了。
资讯配图
资讯配图
本文仅做学术分享,如有侵权,请联系删文。

3D视觉硬件,官网:www.3dcver.com

资讯配图

3D视觉学习圈子

「3D视觉从入门到精通」知识星球(点开有惊喜) !星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研,欢迎扫码加入

资讯配图

3D视觉全栈学习课程:www.3dcver.com

资讯配图

3D视觉交流群成立啦,微信:cv3d001

资讯配图

添加微信:cv3d001,备注:方向+单位,邀你入3D视觉交流群!

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
AR
more
Parallel-R1 等|HF本周论文TOP20
AR光学新路径:LCoS + PVG体全息波导,成本直降90%
JBD“蜂鸟Ⅱ”彩色光引擎:0.2cc、6350 PPI,破解轻量化AR全彩显示难题
最新议程及260+确认出席终端名单公布 劳尔、PeclersParis、WGSN解读最新趋势丨2025第十五届世界CMF大会
【一周热点】大基金三期出手;英伟达50亿美元投资英特尔;Nearline HDD与QLC SSD重点比较
研报 | Nearline HDD严重缺货,预计2026年QLC SSD出货有望趁势爆发
开源Agent模型榜第一名,现在是阿里通义DeepResearch
行业资讯I 小米AI眼镜新增支付功能,谷东智能联合光峰科技推出“LCoS+PVG光波导”AR 眼镜光学解决方案
ARTS 2025核心内容首发|30场报告前瞻,早鸟优惠【今天结束】!
一文讲透串口(UART)通信,超级详细!!!
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号