这个 AI 相机，让你的 iPhone 也能拍出《侏罗纪公园》

去年年底，用 AI 制作「流浪汉闯入家中」图片来整蛊家人的帖子，在社交平台走红。

现在，你甚至不用提示词，只用实拍画面、3D 资产和 Reality-Aware Rendering 就能生成视频来整蛊。

手机摄像头扫过卧室，一只从史前时代穿越过来的小怪兽能悄无声息地出现在床旁，随着真实光线的变化投下阴影，随着镜头移动调整视角，但它只是一个数字主体，不会踏足任何现实的房间。

当录制结束，Simulon 会读取场景里所有的信息，你的动作，你说的话，房间里的光线，以及镜头与空间之间的相对关系，然后重新生成。最终呈现出来的，是一段经过重新演绎的片段。

体验传送🚪：https://apps.apple.com/us/app/simulon/id6670765943

Simulon「现实感知渲染」（Reality-Aware Rendering）的核心思路是让 AI 理解摄像头看到的那个空间，理解光源的方向，理解地面的纹理，理解物体在镜头前运动时的遮挡与透视关系，然后把一个人为创作的数字主体融入这个空间，让它看起来像是本来就在那里。

从工作流程看，早期版本需要 iPhone 与 Blender 配合使用，用手机扫描周围环境记录场景数据，再把图像交给 Blender 自动处理打光与渲染，整个过程可以压缩在几分钟内。

Simulon 2.0 把整套流程进一步收拢，全部在手机端完成。

使用 Simulon 2.0 时，创作起点相当灵活：你可以输入文字描述、上传照片或草图来生成数字主体，也能从真实物体的照片克隆数字版本，再把不同资产组合起来备用。

有了数字主体后，用 iPhone 摄像头观察周围环境，在画面中调整虚拟物体的位置与大小，并移动手机寻找合适的拍摄角度；Simulon 的 AI 渲染会依据现场光照补充阴影与反射，让虚拟对象「落」进现实场景。

确定画面后，你可以用文字描述接下来发生的动作，让 AI 据此生成动态视频；官网还介绍了用起始帧和结束帧引导视频走向，以及在修改场景后重新生成的做法。

创作完成的数字主体可以存入个人资产库，在不同地点和故事中反复调用，也可以把两个资产组合起来，探索新的角色或物体组合。

技术上，这越来越多地依赖近年来被广泛讨论的 3D 高斯散射（3D Gaussian Splatting）。高斯散射以密集分布的点云描述场景的外观与深度信息，对光线变化和视角移动的响应更接近真实物理规律，实时渲染的流畅度也随之提升。

由 3 个高斯图像渲染出的图像

此外，苹果设备的 LiDAR 传感器负责精确感知空间深度，Neural Engine 在本地高效完成大量 AI 推理计算，Simulon 得以不依赖云端服务就完成大部分工作，创作过程中的延迟被压缩到了可以接受的范围内。

2024 年 5 月，3D 艺术家 Hirokazu Yokohara 曾测试实景视频合成应用 Simulon 的早期 Beta 版本。他表示，测试过程中 Blender 的灯光与渲染设置由系统自动完成，最终效果的质量仍不完美。

目前，Simulon 在低光环境下也能很好地发挥作用。

传统影视特效流程，即便是规模较小的制作，往往也需要经历前期扫描、中期拍摄、后期合成三个独立阶段，涉及对焦追踪、动态捕捉、灯光烘焙、渲染输出等多个技术节点，每个节点背后都对应着具备专业背景的工种。

好莱坞视觉特效工业的高昂成本也来自把众多彼此独立的专业模块协同起来所需的人力投入，以及模块之间无处不在的沟通与协调开销。对一部预算有限的独立电影来说，剧本里只要有一个需要特效的场景，导演往往就面临两难：要么承受巨大的财务压力，要么改剧本。

Simulon 把这条链路压缩进一部 iPhone：不需要绿幕，不需要动捕设备，不需要独立的渲染农场，也不需要一整组技术人员。拿出手机，扫描周围环境，把数字主体放进画面，演绎场景，等待渲染完成——整套工作流程由此变成一个人可以独立掌控的事情。

从 Snapchat 的人脸滤镜，到 Instagram 的特效，到苹果在 2017 年将 ARKit 开放给普通开发者，虚实融合的创作工具以各种形式进入了大众视野。

ARKit

但大多数工具在把贴图叠加在人脸上，或者把一个固定的三维模型投影在地面上，场景理解是浅的，虚实之间的关系也是简单的。

Simulon 使得渲染结果与现实环境之间形成响应关系，让虚拟物体尝试成为这个空间里真实存在的一部分。这使其在目标用户群体上与普通 AR 特效应用有本质差异。Simulon 的目标用户，是有一个具体创意想法、想让它呈现出来的人，他们知道自己想要什么样的视频，缺少的只是技术实现层面的支撑。

2023 年，创始人 Divesh Naidoo 在访谈中提到，自己的目标是通过这项技术，让独立创作者能够无需巨额预算或复杂设备，就能创造出沉浸式的、高度逼真的视觉效果内容。

独立导演可以把原本因预算受限而不得不放弃的特效场景拍出来，内容创作者可以在不需要摄影棚的情况下实现以往需要专业布景才能完成的视觉效果，品牌和广告从业者则多了一条低成本制作高质量内容的路径。

Divesh Naidoo 在讲述 Simulon 的来历时，总是会提到《侏罗纪公园》。这部拍摄于 1993 年的电影，对他而言不只是一个视觉奇观，更是一种关于可能性边界的启示。

在那个年代，这类特效只属于工业光魔（Industrial Light & Magic）这样的顶级工作室和数以百计的技术人员。他想追问能力是否可以下移。

Simulon 大约从 2020 年开始有了可以展示的成果，从那次展示中可以明显感受到《侏罗纪公园》的影响。

早期的 Simulon，定位更接近一款专业特效辅助工具，主要服务对象是影视 VFX 制作流程中的专业从业者，帮助他们更高效地完成合成与渲染工作。

产品策略的明显转向，发生在 2024 年前后。当年年初，Simulon 进入邀请制 Beta 测试阶段，将应用开放给更广泛的外部创作者，系统性地收集非专业用户的使用反馈。这一轮测试带来的洞察，大概也直接影响了后续的方向判断，推动了整个产品向大众化迈进。

到了 Simulon 2.0 正式发布，整个产品定位已经明显向大众化方向移动。「AI 创意相机」或许是他们现在更愿意用来描述自己的方式。整个产品叙事的重心从专业工具挪向了创意赋能平台，从服务少数行业人士挪向了赋能大量有创意的普通人。

当 VR 眼镜足够普及，分辨率和透明度都达到令人信服的水准，类似 Simulon 这样的渲染逻辑，就可以实时嵌入人们对世界的观看方式之中。定制化的、感知周围环境的沉浸式叙事，虚拟宠物，虚拟角色陪伴，都将在这条技术路径上逐渐成为日常。

想象一下，戴上 VR 眼镜，看到一只虚拟的哥斯拉在你的城市里横冲直撞，或者把当地人变成僵尸。

独立电影的世界，将会因此变得更加有趣和奇妙。

我们正在招募伙伴

📮 简历投递邮箱hr@ifanr.com

✉️ 邮件标题「姓名+岗位名称」（请随简历附上项目/作品或相关链接）