具身智能需要何种泛化性?
今天分享的智猩猩开讲小知识摘选清华大学交叉信息学院博士生、斯坦福大学访问学者胡开哲在「智猩猩AI新青年讲座具身智能专题」做的讲解。讲座的主题为《生成式模型助力可泛化的具身智能》。
想要完整回放及课件的朋友,可以后台私信“开讲小知识 004”进行获取。
1
视频切片
2
切片信息

我们可以尝试来回答这么一个问题,就是自身智能会需要哪些类型的泛化?我觉得可能有非常非常多的因素。
首先我们希望我们的AI,它对场景是可以泛化。我希望我的这个场景的光照,还有布局它的桌面的背景,它的墙纸颜色。所有的这些东西它不应该影响我,一个AI去给我端茶倒水,给我做一些家务。所以这是对于跟操作部位无关的一些场景,我希望它有泛化。那么对于我需要操作的物体本身呢,我们也希望它有一定的泛化性,我都是端一个杯子的任务可以改变我这个杯子的重量 、长宽高、它的大小,但是只要它是个有把手的杯子我应该都希望我能够抓起来。这个是关于我的操作对象,那么除了这两点之外我的这个任务本身呢。它其实也有很多,可以通用的一些技能,比如说我去旋转这个把手去打开一个门和我去旋转把手去打开一个可能就是一个瓶盖之类的。就是我都需要抓住一个东西,然后去旋转,然后那这种能力它能不能在不同的任务中进行。以及我可能如果我是一个long horizon我有很多个任务需要接替地去完成。那么我的上一个任务到下一个任务之间它需要做,我要怎么去把它连接起来。
我的这个完成这些任务的硬件本体,有一些不同的构型,以及即使是同一型号的机器人它因为出场的时候的各种设置,它也会有微小差异。那么我的算法能不能稳定地泛化到这些硬件然后最后可能我想提的一个点就是,我可能会对完成一些任务的顺序,有一些固有的逻辑。就比如说我发现风把桌子上的纸吹到了地上,那么我可能会先想到我要去关窗子然后我再去捡纸。那么这种它有一定的逻辑和因果性的,一些如何去规划这个任务,我觉得也是泛化重要的一部分。
那么我说了这么多我觉得就是想强调一点就是,泛化这个东西它是一个非常非常广泛的概念。其实我们人类他是用了很多年的进化,把很多知识用硬件编码在我们大脑里,才可以去轻松地去解决这些事情。
点击下方名片 即刻关注我们