
什么样的AI内容,比抖音更让人愿意消费? |
文|邓咏仪
编辑|张雨忻
Vivix到底在做什么?这是过去一年多以来,AI圈对这家神秘公司的最大好奇。
Vivix给外界的印象大致是:明星创业者刘宇,从算法、产品到品牌,所有业务线一直在激进招人,公司估值在一年里飞涨至13.2亿美元,背后站满了背景华丽的投资人们。
但很少有人能说清楚这家公司到底在做什么。有人说,这是一个不做模型的纯AI产品公司,要做“下一个时代的抖音”,所以才频频推出如7verse、TipTap这样的互动娱乐产品。如果你在这段时间搜索Vivix——唯一可见的技术方向介绍,只有官网写着的“下一代视觉生成引擎”。
Vivix成立的19个月里,多模态领域的竞争烈度已然不逊于大语言模型(LLM),并且跑出了如Seedance这样的造富故事。
“我们很神秘吗?”7月,第一次见到Vivix创始人刘宇时,他看起来对外界的种种评价有些钝感。“看起来神秘,是因为在模型还没有很ready时,也不太有PR的必要。”
刘宇说,此前Vivix的产品都是为了验证模型而做的探索,他想做的事情从没有变过:下一代的实时交互模型。
行业对于这家公司的关注,很大程度来自一些闪亮的标签:创始人刘宇1995年生,根正苗红的商汤系人才,经历过大规模AIGC和多模态交互模型的完整训练闭环;早在2023年,就带队做过一款To C AI应用“秒画”,上线首月获得数百万用户。
,当时商汤在视觉领域,同时有算法和项目经验的人不超过5个,带过百人基础模型团队、手握4000多张GPU的刘宇是其中一个。
而Vivix在资本圈搅动的风云,很大程度就源自刘宇选择的创业方向。
2024年,当大语言模型叙事降温时,另一侧的OpenAI Sora正在掀起视频生成模型浪潮。而刘宇所押注的路线,承载了市场对下一代多模态模型形态的希冀。
当时,大多视频模型厂商都在all in视频画质提升、更长时长和更强的物理一致性;彼时带领整个商汤研究团队的刘宇,更早就把生成速度和模型的可交互性作为独立的技术目标,探索用一致性模型减少视频生成的采样步数。
刘宇认为,互动内容是AI时代才出现的全新内容品类,如果一个模型只能做音视频生成,那它只能为上一个时代成熟内容格式的生产端做降本增效。他创业的源头正是——在可见的未来,模型有机会到达让互动内容“可被消费”的拐点。
Vivix的所有模型训练都围绕这个目标来进行。“如果我们要做一个互动内容的底层的模型,一是要让生成足够快,二是要足够便宜。”刘宇说。
这也可以解释为什么刘宇在第一次对外的沟通会上,向外界展示的Benchmark并不是顶级模型的某个指标,而是视频平台巨头YouTube的CDN带宽成本——这是这一代内容平台在成本上的基础红线。
7月,Vivix将推出两款实时交互模型W1和A1——W1是理解、交互、生成一体化的基座模型;A1则是以角色交互为中心的实时交互模型,面向数字人/角色交互等具体应用场景。
其中,W1模型的实时生成成本,已经接近YouTube每小时约0.2美金的CDN带宽成本,和目前最头部的视频生成模型相比,实时互动内容的生成成本可以低1-2个数量级。
在速度上,当一个用户在交互场景中进行操作时,模型能在300-600毫秒内就可以生成下一帧画面(即TTFF,Time to First Frame,生成首帧画面时间)。这使得模型真正可以做到个性化分发的下一步——个性化生成。
△Vivix-W1展示实时导演能力,
支持通过文本、语音以及触控输入实时改变故事走向
Vivix初步选择的场景是游戏和直播。这源于这两个场景的特性:游戏是多对多的交互,直播则是一对多的分发,单位token的消耗密度最大,产生的GMV、客单价上限也更高。
实时交互则进一步打开了这些场景的可能性。在Vivix和一些游戏工作室共创的demo中,玩家已经可以实时通过Prompt来控制剧情进展,真正让一个故事变成开放世界设定——刘宇将有故事感作为衡量模型的最核心指标之一。能够交互、能有参与感的内容,才是下一代内容最大的核心。
△Vivix-A1展示动作表现,与物体和环境的交互
而为了匹配新内容格式,现有的所有“基建”都需要重建。一个本质原因在于,“世界上并不是所有东西都可以通过语言、图像和视频表达。”刘宇说,“我们需要把人类交互的原生raw data扔给模型,让模型自己去理解。”
创立至今的19个月里,从前端的数据采集、数据管线搭建到infra、模型,Vivix团队几乎都重做了一遍。目前Vivix的团队规模已达150-160人。
和刘宇踏上的远大征程相比,他并非一个爱讲愿景和价值观的创业者,也害怕大家把实时交互粗暴地理解为又一个世界模型。“我只是觉得世界模型太神圣,我们还不配去谈。”他说。
在刘宇的规划中,7月上线的W1是一个中等规模版本,核心是验证理解、交互、生成一体化这件事可以跑通,并且可以泛化。今年Q4,Vivix还将完成W2的训练——数据量比W1再高两个数量级,覆盖所有能想象到的天然视频交互场景。
可以说,Vivix想达到的终局目标依然比较远期,并且难度极高。一方面,实时交互对算力和infra提出了更高要求——人类消费语言Token的速度是每秒5-10个字,而视觉类内容的Token量可能是数千到数万。另一方面,实时交互虽然已经成为下一代模型厂商的探索共识,但大的技术曲线仍未收敛,需要长期投入。
不过刘宇觉得这反而来到了他的舒适区,“共识意味着平庸”,他说。从小到大,无论是放弃博士入学去商汤创业,还是在商汤里一路内部创业到现在,他所取得的绝大多数成绩,都来源于非共识。
以下为Vivix创始人刘宇的自述,经智能涌现整理:
我们成立至今做了好几个产品原型,7Verse、TipTap,到现在已经是第五个产品原型。所有这些产品都只想测明白一个问题:什么样的内容格式和交互方式是真正可消费的。
这是这个领域第一性的问题。所有在做AI娱乐、AI内容、交互内容的公司,都必须回答:什么样的AI内容,是比抖音的内容更让人愿意消费的?
我们一开始低估了这个问题,觉得定义了交互式内容就是work的,只要做出来,大家就都会喜欢。结果真的做出来几个产品原型之后发现,这事太难了。
该怎么定义交互很难,内容怎样才有消费力也很难,而这两个难点最终都要回归到模型能力。所以产品并不是我们第一优先要做的事情。在可见的未来,我们还是以模型为主,核心还是卖模型的API。
做这些产品,也是尝试给市场一些方向。当时我们做了首个可在真实世界交互的数字人Sofia,发现有非常多乙游公司、做AI陪伴的公司也希望做这个事情。
他们用我们的API,前端harness两三天就搞完了——用Claude Code做整个前端和数据系统。客户沉淀的是他们自己的harness——这个产品该怎么卖、人格该怎么设置、游戏机制和数值系统该怎么调。底层引擎用的是我们。
创业之前,我当时负责训整个商汤所有的底层基础模型。商汤最有名的业务线是人脸识别,我们大概有三四十条人脸识别业务线——地铁刷脸、人证比对、手机人脸解锁、被动式安防。我们就发现,就算都是做人脸识别任务,每一个细分场景都需要单独训一个模型。如果把所有数据拿过来训一个模型,它在每一个场景上的精度都会下降。
但这一代大模型完全不一样。Transformer架构里的self attention(自注意力机制)使得模型天然具备跨领域的泛化能力——数据越多、场景越杂,它反而越强。GPT一个模型能做翻译、陪伴、问答、Coding等等,这些场景间的边际成本几乎为零。
2025年上半年,我们找到了十几个类似于next token prediction之于LLM的数据源——我们叫next reaction prediction。它其实是一个三元组合,包括几个维度的数据:过去发生了什么(理解);人类是怎么交互的(交互);下一秒会发生什么(生成)。
游戏天然就是交互式内容,所有游戏的录屏和仿真环境里,replay只靠记录初始状态和所有人的操作方式,就可以把整个游戏从头到尾回溯一遍。这些数据天然就是展现人是怎么对内容做交互、为什么做交互、以及做完之后内容会发生什么变化的。
我们现在已经精筛的多模态数据已经有数千万小时,其中部分带有交互属性。头部通用视频生成的语料差不多也是这个量级。
这一点也会影响到我对于多模态交互数据Scaling Law方式的思考。
曾经,我们做机器学习训练的年代,需要人去打ground truth(标注真值),比如人脸识别要标这个人是谁,自动驾驶要拉框标车在哪。
而到了LLM时代,之所以有Scaling Law,是因为自然语言的Next Token Prediction是天然的自监督“标注”,不需要任何人类标注。我们在交互智能领域,也找到了“理解-交互-生成”这种天然可自监督的三元组结构,所以存在可scale的数据范式。
如果你从C端用户看需求,第一,他们很难为token付费;第二,他们对内容生成速度的耐心也有限。所以,如果我们要做一个互动内容的底层模型,必须有两个特征——足够快,足够便宜。
成本、速度跟效果,这三个是一个不可能三角。我们要比的不是谁成本低、谁速度快、谁画质好,而是在一个四维空间里——成本、速度、质量、内容消费力加一起,看谁的模型和系统往右上角走得最远。
AI时代要真正出现to C的内容产品,成本端一定得打破现在工具型模型的成本壁垒。只有当成本能做到我们去刷抖音、看YouTube的内容成本水平,才有可能做到可实时、可交互。
我们现在模型推理成本已经非常接近这个状态。
我们会对标的是YouTube。用户在YouTube看视频的时候,为全球网络CDN和互联网带宽付出的费用,大概是0.2美金每小时。
2025年3月份到今年4月份,Vivix的模型推理成本降低了两个数量级,而且这不只包含生成,还包含对视频、对多模态交互的理解。
再说速度。我创立之初给infra团队定的最核心指标是TTFR(Time to First Reaction,首次反应时间)——人给一个reaction(比如写了一段prompt、在屏幕里点了一下)多久之后会生成对应的reaction内容。
如今模型推理的TTFF(首帧反应时间),我们大概需要300到600毫秒,算上网络通信等全链路TTFR需要1秒左右。与此形成对比的是,头部视频模型基于一段prompt生成视频内容需要的推理时间是数百到数千秒。
考虑这是一个有效激活参数为约30B,VAE压缩率仅为8-8-4的模型,在理解、交互、生成一体化的情况下,能做到这个延时,是非常难的事情。
7月,我们会发布W1。W1是一个中等规模模型,核心是验证理解、交互、生成一体化这件事可以跑通并且可以泛化——有点像GPT-1跟GPT-2的意思。上个月我们已经启动了W2的scaling,W2跟W1相比数据量大了两个数量级。我们计划在Q4完成W2的训练并对外发布。
W1到W2要scale的是数据,W2到W3要scale的是模型结构跟MoE(混合专家模型)。对于我们来说,现在是在scale数据这个阶段——先把模型喂饱,喂饱了之后再去scale参数跟框架。每一类大模型——语言模型、视频生成模型、音频模型、VLM、VLA,包括我们的理解生成交互一体化的模型——都需要经历这种阶段。
现在比较缺失的部分是:怎样把人类天然能够跟模型发生交互的这些模态,全部纳入到模型原生的学习里面。
模型的智能上限不应该被人类的自然语言束缚住。人类怎么跟内容交互的理解,也不应该先转化成文字。我现在的做法是,把人类与模型交互的原生raw data扔给模型,让它自己去理解。
我2022年在商汤内部就想做这件事,直到现在也没变过。
好多投资人每次第一次见我们,都问你怎么跟Seedance竞争?我说,为什么要跟Seedance竞争?
国内很多做视频工具、视频模型的公司,选这条赛道难免要跟字节竞争。但一是模型能力很难做得过他们,二是获客模式、生态也做不过大厂,很难赢。
所有做视频生成模型的公司,比如for短剧、for短视频创作的这些产品,它是在为移动互联网时代的内容格式做生产端的降本增效。一切以降本增效为出发点的,且中国有优势的产业,最终利润率都会非常低。
而跨赛道的能力,是降维打击,不是直接竞争。就像用专家系统做RAG和用大语言模型做知识库检索,都是做知识库,但技术范式变了,不存在竞争,大家直接就会迁移过去。
本质上,我们是在创造新的增量。现在大家做短剧都是离线的,很少人在做实时互动的短剧,因为也没有对应的模型,成本很高。AI时代,只有靠新模型的出现才能滋生新应用场景。所以我们所有的做法都是在模型层不断加能力,然后往下推对应的infra应该怎么做,应用场景能怎么做。
大厂一定也会做交互内容,但做的方式、motivation和耐心跟创业公司都是完全不一样的。大公司的决策机制导致了他们对概率的追求是无止境的——这个事儿有足够大的概率,就投入足够大的资源。
创业公司的核心是对赔率的追求。我自己对创业的理解是:追求赔率的人,找到了赔率高、且因认知差带来了概率优势的方向。
而在这个概率优势提升到大厂愿意投入足够多资源之前,需要形成自己的数据飞轮——也就是足够大的推动力和足够大的壁垒。否则,没有独特认知,在相同概率下跟大厂卷胜率的创业公司,没有任何机会。
上一个时代,Adobe能一家独大,是因为产品功能足够复杂——我是个摄影发烧友,但Photoshop 70%的按钮我都没点过,但正因如此,所有工作流都在它这里完成,不需要去别的产品。
但AI时代的门槛不再是产品复杂度,而是模型泛化能力。所有交互都变成自然语言,用户不需要学高斯模糊、蒙版是什么意思,一句话就出结果。
但AI时代的门槛不再是产品复杂度,而是模型泛化能力。所有交互都变成自然语言,用户不需要学高斯模糊、蒙版是什么意思,一句话就出结果。
为什么AI 1.0时代商业化那么差?原因就是技术泛化性差,你不得不做高单价高毛利的事情来补贴研发。我给这个公司做一个模型,只能给他用,没法给另一个用,因为性能会掉。
这一代实时交互技术的底层变量是,模型泛化性足够强,意味着商业模式的变化——复制能力的边际研发成本是零。不再需要靠某一个客户的高毛利,来补贴给另一个客户定制化模型的研发成本。我们应该赚的钱,就是这个靠基于模型的规模化带来的附加值。
而往更远的未来看,具备模型训练能力的公司绝不止一家,模型能力最终也一定会收敛,同质化模型的商业模式最终还是会走向水电煤模式,市场进入存量竞争且渠道透明,毛利率会变低。所以我们要在这个过程中创造场景和渠道的附加值。
AI技术的创新跟突破是无法计划的,要有宽松的环境来激发创造力。
但在这个时代,如果要做到模型第一梯队,不能仅靠一个天才idea,必须得有非常强的体系化作战能力——要有非常强的数据基建、训练infra,以及数据算法能力。超大规模训练任务的魔鬼,都藏在细节里,相同的1万张GPU、1B原始数据给到不同团队,效果可能天差地别。
比如,Seedance之所以会那么厉害,我自己感受有两个点。第一是它的军团作战能力足够强——数据、模型,算法可能没有太多fancy的创新,但每个细节都做得好,模型团队足够努力;二是自动分镜,prompt following的能力做得好,很大提升了产品可用性。
我前两年见了不少字节的人,一直很好奇字节为什么能做到这样——无论换了谁,整个团队继续以最高战斗力去做业务。
为什么如今这种大军团作战的形式能奏效?是因为当时的视频生成赛道,DIT、MoE已经是共识,不需要做过于fancy的创新,这时候反而需要军团作战,把细节一步步做到位,这就是可以发挥组织优势的地方。
今天用AI来生产内容还处于早期阶段,整个视频生成赛道的的ARR跟去年相比翻了数十倍,未来几年可预期的是这个赛道还会有数量级的增长。我们今天押注用模型直接改变内容格式,这个赛道更早,更未知,也更有趣。
很多人问我怎么看世界模型,好像大家都开始做了,就成了共识?但我觉得并不是。共识是你的认知和大家是一致的,但大家现在做这件事情的出发点显然还是不一致的。
在一个还没有成立的赛道上,如果去卷一个错误的共识指标是不对的。就像做数字人,大家都卷谁嘴型对得好、谁手自然,但我认为这不太本质。我喜欢看罗永浩直播,是因为他说话风趣,喜欢看张雪峰讲高考是因为他能把灰色的成年人世界讲给我听。这些才是消费的重点。
在我自己的成长中,获得的正反馈都不是由共识带来的。我所有的工作基本上都是需要靠创业精神——在港中文边读书边创业,在微软做研究,在Google Brain做研究,在商汤从实习生到研究总监,再到带一个事业部,都是从0到1的事情。
2015年的时候我申请了一所还不错的学校的PhD,签证都办好了,但汤晓鸥老师希望我留下来一起创业。那年我20岁,选择了放弃读博,留在商汤。今天来看,我一点都不后悔。
共识意味着安全,但也意味着平庸。我从小就是一个不太追求安全的人,安全会让我有极大的不安全感。
有人问我会不会担心大家把我们定义成世界模型公司,我挺介意的。
我不太想讲世界模型,一方面是这个词被大家讲得太多了,定义很泛滥。但更深层的原因是,我觉得它太神圣了,我们现在还不配去谈。
我的一个观点是,以语言为中枢的多模态模型,不会成为真正能表征这个世界的东西。
首先,训练语言模型的语料都来自互联网——曾经有能力把自己的声音和记录留在互联网上的那些人写下的东西。这些语料本身天然就是有bias的。
我自己对脑神经科学和高能物理前沿比较感兴趣。如果ChatGPT真能帮我理解这些学科最前沿的认知,它就应该是世界模型了。但我发现它是非常有bias的。
再者,假设语料没有bias,人写下的每一行字,本质上是大脑神经回路产生的电信号,到了语言中枢变成文字。而这些电信号源于他一生的所见所闻所想——本质上是他的感官系统。视觉本质上是电磁波,听觉、嗅觉和触觉,归根结底也是电磁力。这也仅仅是构成这个世界已知的四大基本作用力中的一种而已,并不能表征整个世界。
人类的一切认知都是感知的某种抽象。人类对“世界模型”的定义,也超越不了人类本身对“世界”的感知。比如在电磁波谱上,人眼仅能感知到可见光,于是有了记录可见光波段的语料格式叫“视频”;于是能够基于action,预测下一刻“视频”内容,就被定义为“视频世界模型”,这是狭隘的。人类凝聚的文字,源于对世界如此狭窄的观测。
如果人类没有发现X光,只靠可见光录下来的视频说“这就能表征世界”,你会不会觉得非常荒谬?也许未来有Y光、Z光,或者新的第五大基本作用力,能带给我们物理意义上对世界更本质的理解,那么现在基于可见光等定义的“物理世界模型”,是不是会略显狭隘?
“世界”本就是被人类基于有限的观测定义的。而人类是狭隘的,人类定义的东西,一定比人类还要更狭隘。
想通了这一点,我反而释然了。如果我们以狭义的角度去理解世界模型,其实就是一种功能主义:它能帮人类预测下帧会发生什么,能让人类看到内容跟人拍的有点像。这个“世界”是为了满足人类实用性的世界,而不是真实客观的世界。
AI agent为人类节省大量时间、产生大量生产力之后,人类剩下的时间,精神消费应该有更高效的方式来填满。我如果能做到这一步,就满足了。
封面来源|电影《降临》剧照

