智象未来CTO姚霆：多媒体创作Agent的技术底座已经成型 | GenAICon 2026

当AI开始不只是回答问题，而能帮你完成整个创作流程时，我们的创作方式也悄然发生改变。

近10年大模型不断突破，从文字对话到图像生成，再到视频创作，AI的能力让人眼花缭乱。

但更让人兴奋的是Agent时代的到来——我们不再需要一个个独立工具，而是拥有一个可以理解我们的想法并能执行创意的智能搭档。

姚霆博士指出，创作新范式的技术底座已经成型，或者说Ready for Use。

多媒体创作Agent的核心价值在于：创作不仅是专业的，其Skill也要可共享、可复现，还能支持多模态协作，保证创作的一致性和可控性。

在技术层面，姚霆重点介绍了下一代多模态模型架构。他提出“原生编码”理念，打破文本、图像、视频等模态的边界，让不同类型的信息直接进入统一模型处理，在Unified Transformer完成理解与生成，实现真正的多模态融合。

而在模型能力之上，智象未来还提出了HiDream Agent OS基础设施。姚霆强调，要让Agent真正成为可复用、可协作的创作伙伴，创作任务背后的工具、技能以及创作灵感都需要被沉淀和复用。

AI让创作变得高效、可复用，但真正的创意源泉，永远是人类的想象力。

姚霆：各位中午好，我是来自智象未来的姚霆。今天非常荣幸，也非常开心有这样一个机会能够参加中国生成式人工智能大会。今天我分享的主题是《多媒体创作Agent：大模型能力跃迁下的创作新范式》。

其实，这个标题有点老钱风啊，很多人现在谈多模态、创作Agent的可能会更多，但我今天更想从多媒体创作，或者是从产品的维度，去来介绍什么是多媒体创作Agent。

最近十年，大模型能力的跃迁有目共睹。我们认为，AI的发展大致经历了三个阶段。

第一阶段是工具时代。人在操作工具，工具执行具体动作。

第二阶段是AI嵌入工作流时代。从2022年ChatGPT出现开始，AI逐步进入现有工作流，人主要负责确认结果是否正确。

第三阶段是Agent时代。从去年开始，Agent开始具备自主编排能力，可以完成从创意、研究到发布的全链路流程。人在其中主要负责定义方向和标准。

那为什么这个时代变迁如此之大？这一切变化背后的核心驱动力，是模型能力的持续进步。

换句话说，创作新范式的技术底座已然成型，已经Ready for Use。接下来更重要的工作，是在这些模型能力之上构建真正可用的创作Agent。

我们会把多媒体的创作的智能体去做一个简单的分层。

模型层。最底层是模型的能力，包括语言模型，包括多模态的大模型。

Tool层。也就是工具层，可以再往下去拆分，可能是一些像文件读写的通用工具，也可能是一个纯API层，我吗可以调用各种各样的API去完成底层的能力。

Skill层。我们对Skill层的定义，希望它是有行业属性的，并且能够融入一些行业的 Know-how，这样就能产生很多场景化的Skill。比如说我们在做营销视频里面可能会经常会用到对爆款视频的解析或者对卖点的总结，以及对营销文案的分析和需求的解析。Skill层可大可小，小到刚才提到的那些具备行业属性的基础能力；大到一些复杂的Workflow。

Harness层。核心是做一些上下文的能力，包括权限、安全的管理等等，甚至包括一部分Skill的评估。

应用层。有了这样一个安全的底座以后，我们要做的事情就在应用层去实例化。我们可以面向各种各样的行业实例化一系列的Agent，包括我们自己在做的多模态甚至全模态的内容创作，以及影视类AIGC的创作Agent，以及商业内容营销的素材生成Agent。

在视频生成方面，我们在2017年应该算是全球第一个做的。那时候还不叫文生视频，叫Caption to Video。我们用的是Temporal GAN，生成质量还是比较糟糕的，当时的Resolution（分辨率）只有256×256。甚至64×64。

早期我们认为编码是独立的，文本有Text Encoder，视觉有VAE Encoder和Decoder。但这样的核心的问题就是会造成一定的信息的损失，两者之间没有任何交互。

再往后走一步变成了交互式编码，其实也很简单。要么去掉文本的Text Encoder，用一个VLM和Diffusion Model融合，这样就不存在独立的Text Encoder了；当然也可以去掉下面的VAE Encoder。所以这种编码是交互的，但它是单向的，要么用A要么用B。

那我们到回归到今天，我们会推出自己的下一代的大模型的架构，姑且叫它“原生编码”。

回归到本质，因为大道至简嘛，所有的模态都会原始的输入到模型，我们会用一个Unified Transformer去解决理解生成统一的问题，但是我们的目标还是为了做生成。

那这样的好处是什么呢？首先编码是无损的，因为是从像素出发的，而不是基于Encoder出发的；其次，我们的交互是原生的交互，因为整体会在Unified Transformer里面去做所有的理解和生成。

我们会发布系列模型 HiDream-O1-Image（现已发布）。它的核心架构就是上述提到的，主要完成图像相关的三个任务。

Text-to-Image Generation。文生图，输入Text和一张带噪声或全噪声的图像，生成一幅目标图像。

Image Editing。给定一张Reference Image（参考图），利用我们的架构对这张图进行编辑。

Subject-driven Personalization。我们通俗来说就是IP的保持，提供一个参考IP，在生成的图像中能够保持IP的不变性。

这系列模型我们开源一个8B左右的版本，也希望这个版本可以适配各种的Local Agent。

说完了模型再来看看Agent的底座。我们提出了HiDream Agent OS这一基础设施，核心架构就是中间三层：Harness层、Skill层和Tool层。

Harness层。核心就是约束Agent的行为边界，增加智能体的稳定性。

Skill层。能够总结行业的Know-how，高价值的Know-How能够去复用，赋予Agent多媒体创作的一些基本能力，并且是带有行业属性的。

Tool层。是底层工具的集合，会涵盖我们自研的生态和开放的生态。

我们希望这套OS会成为创意生产力的一个可复用的组件库，并且加上智能编排引擎，这是我们的愿景。

那我们这套OS对上层的垂域的智能体到底是有什么样的作用呢？

在这里核心的一个词就是复用。

底层工具可复用；Skill层的经验可复用，这些经验就是我们的Know-how，是行业经验的资产化，甚至这些经验和资产化可以持续迭代；再往上，创意也要可复用，包括创意元素的复刻、创意灵感的复刻，甚至创意策略的复刻。这才是我们希望得到的一个高可复用性，进一步提升 Agent 的高价值。

第三个是影视创作智能体。我们刚刚发布了‘帧赞’，面向的用户实际上是小型团队。通过写作的方式来做影视制作，从剧本改写，到道具设定、角色指定，再到最终视频生成的全流程。它是一个强协作、强管理的Agent。

最后一页，我会用多媒体创作的“忒休斯之船”来结束我今天的talk，那我们知道忒休斯之船实际上是一个哲学的悖论，它底层逻辑是当这艘船上所有的木板都被替换掉以后，这艘船还是原来那艘船吗？

实际上，这是一个哲学问题，回归到我们的多媒体创作道理是一样的。当我所有的创作里的每一块木板都被AI替换掉，那问题就变成这还是我的表达吗？

那我的观点是，希望让所有的创作回归人类的灵感。换句话说，舵仍然在人的手里面，灵感仍然在出自于我们人本身，只是我们航行的方式已经截然不同。

以上是我的分享，谢谢大家。