最近，Intern-S1、MiniCPM-V-4、GLM-4.5V、Step3、OVIS 等多模态大模型纷纷开源，在大模型开源社区引发了热烈讨论。这些模型不仅在参数规模、训练范式和应用场景上各具特色，更在开源社区的催化下形成了"百家争鸣"的生态格局。开发者们得以在代码级层面解构其架构设计，从 Transformer 变体到跨模态对齐机制，从指令微调策略到领域知识注入方法，为创新与实践提供了新的启发与可能。
本周四， OpenMMLab 联合司南、Hugging Face、ModelScope、知乎、机智流等发起 AI Insight 多模态专场，邀请到了这些模型背后的核心研发者，共同带来一场深度技术分享，系统解析模型设计思路与实践经验；同时还将举办圆桌对谈，汇聚多位顶尖开发者同台交流，碰撞思想火花。精彩内容，不容错过！
分享嘉宾及主题介绍
No.1
Intern-S1：科学多模态大模型
陈恺
上海人工智能实验室 大模型中心负责人
在科学发现过程中，传统的单一模态分析往往难以全面捕捉复杂现象，尤其是在跨学科领域的深度探索中更加显著。Intern-S1 融合了书生大模型家族的优势，在同一模型内实现了语言和多模态性能的高水平均衡发展，并富集多学科专业知识，重点强化了科学能力，为首个融合专业科学能力的开源通用模型，其综合性能为当前开源多模态大模型中最优，并连续多日登顶 Hugging Face 多模态 Trending 全球第一。本次分享将系统解读 Intern-S1 的核心技术架构与关键创新。
Hugging Face：
https://huggingface.co/InternLM
ModelScope：https://modelscope.cn/organization/Shanghai_AI_Laboratory
No.2
MiniCPM-V：迈向高效端侧多模态大模型
姚远
MiniCPM-V、MiniCPM-o 技术负责人
MiniCPM-V 和 MiniCPM-o 系列致力于实现“轻量级、高性能”的高效端侧多模态大模型。通过模型结构、训练方法、数据构造等方面的创新技术，最新的 MiniCPM-V 4.0 以 4B 参数量，实现了持平 GPT-4.1-mini 的视觉语言理解性能，并支持在手机设备上的低延迟流畅运行；MiniCPM-o 在视频、语音、文本的全模态实时流式交互方面，实现了持平 GPT-4o-202405 的能力水平。本次分享将介绍 MiniCPM-V 和 MiniCPM-o 的相关技术探索，以及开源部署工具。
Hugging Face：
https://huggingface.co/openbmb
ModelScope：
https://modelscope.cn/organization/OpenBMB
No.3
GLM-V：迈向通用推理的多模态大模型
余文梦
智谱 GLM-V 团队 研究员
面向通用多模态理解与推理，GLM-4.1V-9B-Thinking 与 GLM-4.5V 展开了重要探索，提出基于课程采样的强化学习方法（RLCS），在 STEM 推理、GUI Agents、Grounding、视频理解、代码生成、空间推理以及长文档解析等多样化任务上实现了显著提升。在 42 项公开基准的综合评测中，GLM-4.5V 在几乎所有同规模开源模型中取得领先，并在代码生成和 GUI Agents 等挑战性任务上表现出与 Gemini-2.5-Flash-202506 等闭源模型相当甚至更优的能力。与此同时，参数规模更小的 GLM-4.1V-9B-Thinking 也展现出极强竞争力。本次分享，将介绍这一系列模型背后的技术创新、实验成果，以及相应的开源与部署工具。
Hugging Face：
https://huggingface.co/zai-org
ModelScope：
https://modelscope.cn/organization/ZhipuAI
No.4
Ovis多模态大模型：结构对齐下的视觉语言融合
卢世银
阿里巴巴国际数字商业集团 高级算法专家
目前，主流开源 MLLM 通常以预训练 LLM 和 ViT 为基础，分别通过索引嵌入表生成文本嵌入、通过 MLP 生成视觉嵌入，导致文本嵌入与视觉嵌入在结构上存在差异，影响多模态信息的深度融合。 针对这一挑战，阿里国际提出了新型 MLLM 架构 Ovis。Ovis 借鉴 LLM 的文本嵌入策略，引入可学习的视觉嵌入表，将视觉特征转化为概率化的视觉 token，并通过多次索引加权生成视觉嵌入，从而实现视觉与文本嵌入的结构化对齐与高效融合。本次分享将介绍 Ovis 的架构设计、训练策略、性能表现及开源最新动态。
Hugging Face：
https://huggingface.co/AIDC-AI
ModelScope：
https://modelscope.cn/organization/AIDC-AI
No.5
阶跃星辰在多模态方向上的探索
孙泉
阶跃星辰 研究员
Step3 是一款前沿的开源多模态推理模型，基于 Mixture-of-Experts 架构，拥有 3210 亿参数（其中 380 亿为激活参数），在不同硬件平台上均能保持卓越的文本推理与多模态推理能力，能够实现精准的视觉理解，并显著降低幻觉率。NextStep-1 致力于探索新的自回归图像生成范式，通过采用轻量的 flow matching head 和更鲁棒的图像 tokenizer 实现在连续视觉空间中的自回归生成，在文生图和图像编辑任务上均表现出优异的性能。本次分享将介绍 Step3 和 NextStep-1 相关的技术探索。
Hugging Face：
https://huggingface.co/stepfun-ai
ModelScope：
https://modelscope.cn/organization/stepfun-ai
参与方式
观看直播
参与讨论
同时为了方便大家交流沟通，我们建立了相关的交流群，本期分享的大佬也在群里哦，可与大佬进行面对面沟通 ，扫码即可入群~
期待与您相约 8 月 21 日（周四）晚 8 点的 AI Insight Talk 多模态专场，一起探索前沿科技，共享 AI 盛宴！
-- 完 --
机智流推荐阅读：
1. WE-MATH2.0解锁数学推理新高度！北京邮电大学与腾讯WeChat Vision联手打造从小学到大学的多层级数学推理知识体系
3. GUI-Agent 领域新作！蚂蚁集团发布 UI-Venus，以截图驱动的智能交互，刷新行业标杆！
4. 本地也能玩转AI图片创作？腾讯3B开源模型实测：精准又轻便，统一生成理解，手把手教你部署
关注机智流并加入 AI 技术交流群，不仅能和来自大厂名校的 AI 开发者、爱好者一起进行技术交流，同时还有HuggingFace每日精选论文与顶会论文解读、Talk分享、通俗易懂的Agent知识与项目、前沿AI科技资讯、大模型实战教学活动等。
cc | 大模型技术交流群 hf | HuggingFace 高赞论文分享群 具身 | 具身智能交流群 硬件 | AI 硬件交流群 智能体 | Agent 技术交流群
