多模态Agent训练进入模拟世界时代，MMLab联合清北开源SearchEyes

导读：多模态深度搜索要求 Agent 在看图、检索、验证与推理之间持续切换，开源系统却长期受制于数据、环境和奖励彼此割裂。SearchEyes 用 typed knowledge graph 构建统一的 Search World，以 PKC 保留多跳实体路径，再用 HaPO 将路径变成步骤级奖励锚点。实验显示，27B 模型平均准确率达到 68.1，较最强开源基线提升 6.2 个点，为可复现、可演化的多模态 Agent 训练提供了新路径。

在多模态搜索场景中，用户希望模型不只是“看图回答”，而是能够像研究助手一样围绕图像展开搜索：先识别图中实体，再查找相关知识，再回到图像细节中验证线索，最后沿着多跳关系链给出答案。

例如，给定一张钛金属外墙的博物馆照片，问题要求判断这是某个国际艺术博物馆网络中的哪个分馆，找出它的建筑师，确认图片背景中的城市，并回答这位建筑师获得过的最高建筑奖项。要答对这个问题，模型需要先从图像中识别 Guggenheim Museum Bilbao，再查到 Frank Gehry，再利用背景城市排除相似分馆，最后检索 Pritzker Architecture Prize。

这类任务被称为多模态搜索或 Multimodal Deep Search。它要求 Agent 在视觉感知、文本检索、知识推理和中间验证之间不断切换。相比普通 VQA，它更接近一个长链路的交互式研究过程。

然而，当前强大的多模态搜索系统大多仍是闭源系统。闭源系统背后往往有不可见的搜索链路、训练数据、工具编排和反馈机制；开源系统即便接上类似工具，也很难复现同样的训练环境。结果是，开源模型常常只能在推理阶段模仿工具调用，却很难真正学会稳定的多跳搜索策略。 针对这一问题，来自香港中文大学 MMLab、清华大学、香港大学、北京大学等机构的研究团队提出 SearchEyes，一个面向多模态深度搜索的 Search World Simulation 框架。它的核心思想是：与其在割裂的 pipeline 上分别优化数据、环境和奖励，不如构建一个自洽的模拟搜索世界，让数据生成、环境交互和强化学习反馈来自同一个结构化世界。

论文标题：SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

论文链接：https://arxiv.org/abs/2607.05943

项目主页：https://searcheyes-page.vercel.app/

代码仓库：https://github.com/Frostlinx/SearchEyes

作者单位：香港中文大学 MMLab、清华大学、香港大学、北京大学等

第一作者焦政博，现为香港中文大学 MMLab 研究实习生，同时担任腾讯混元青云计划实习生，关注基础模型的能力提升。此前任职于阿里巴巴 AIData 研究团队，担任研究实习生，工作期间持续与 Qwen 团队协同配合，围绕模型能力提升参与大模型推理、训练、评估全流程研发。其主要研究领域为 Data-Centric LLM，现阶段研究工作围绕 Agentic RL 与模型的 Self-Evolving，涵盖 Search、SWE、Computer use 等 Agent 的智能体环境拓展与合成，他已完成多项具有代表性的研究工作，主要包括 Socratic 系列（Zero、Geo、SWE）、Agentic Proposing 以及 SearchEyes。相关学术论文已被 ICML、ACL、CVPR 等国际顶级会议正式录用。

为什么多模态搜索 Agent 需要新的训练环境

传统多模态大模型通常擅长在单张图像和单个问题之间建立映射。但在真实搜索场景中，问题往往不是一次视觉理解就能解决的。模型需要持续调用工具，阅读外部知识，判断当前证据是否足够，再决定下一步搜索方向。

这类多步搜索任务对 Agentic RL 提出了更高要求。模型不仅要知道最终答案是什么，还要学会中间过程该怎么走：什么时候 visual_search，什么时候 text_search，什么时候 lookup，什么时候需要回到图片中验证，而不是直接给出看似合理的猜测。

现有开源多模态搜索 Agent 的训练流程大多包含三个部分：数据合成、环境交互和奖励反馈。问题在于，这三部分通常是独立构建的。

在数据侧，很多方法利用图结构或网页路径合成多跳问题，但生成完问题后只保留 question-answer pair，中间路径、实体 ID 和关系类型被丢弃。模型训练时只知道“问什么”和“答什么”，却不知道搜索链应该怎样展开。

在环境侧，训练往往依赖外部搜索引擎或 API。真实搜索引擎虽然贴近应用场景，但结果会随时间、地区、排序策略和 API 状态变化，难以复现，也很难与合成数据中的原始路径严格对齐。

在奖励侧，强化学习通常只在轨迹末端根据最终答案给出奖励。对于一个 4 到 5 跳的搜索任务，最终答错并不代表每一步都错，最终答对也不代表路径可靠。轨迹级奖励过于稀疏，无法有效告诉模型哪一步搜索值得强化，哪一步已经偏离。

SearchEyes 将这种问题称为 data-environment-reward disconnect。没有透明、可控、可复现的 Agentic Env，开源系统就很难系统性学习多模态搜索行为，也很难追赶闭源系统。

核心创新：构建统一的 Search World

SearchEyes 的核心创新，是用 typed knowledge graph 构建一个自包含的模拟搜索世界 Search World，并让它同时承担三种角色：数据生成器、交互环境和奖励结构。

研究团队将 Wikidata5M、Wiki6M/OVEN、Wikipedia 文本与实体图像进行对齐，构建出一个包含约 120 万实体、约 34 万视觉实体、约 580 万条关系三元组和 822 种 predicate 的 typed KG。

这个图不只是静态知识库。它可以生成多跳视觉-知识问题；可以为 Agent 提供 text_search、visual_search、lookup、summarize、python_interpreter 等工具交互；还可以记录每次检索命中的实体，并判断该实体是否位于 gold reasoning chain 上。

这样，数据、环境和奖励被放回同一个世界中：问题从图中采样，Agent 在图定义的环境中搜索，奖励由同一条图路径中的实体锚点给出。

这正是 SearchEyes 与传统 pipeline 最大的区别。传统方法通常是“先合成数据，再找环境，再设计奖励”；SearchEyes 则让环境本身成为数据和奖励的共同来源。

PKC：让路径成为可复用标注

为了让 Search World 同时支撑数据和奖励，SearchEyes 提出 Perception-Knowledge Chain，简称 PKC。

PKC 是在视觉-知识交叉空间中采样得到的多跳实体路径。路径从带图像的 visual entity 出发，沿 typed relation 前进，并要求感知跳 P-hop 和知识跳 K-hop 交替出现。

P-hop 对应视觉感知或视觉检索，例如从图片中识别建筑、人物、物体或地点；K-hop 对应知识检索，例如查找实体的作者、所属组织、出生地、获奖记录或关系对象。

这种 P-K 交替约束很关键。它避免问题退化成纯文本检索，也避免图像只作为装饰。一个合格的 PKC 问题必须让模型在看图和查知识之间切换。

以前面的博物馆问题为例，其 gold entity chain 可以写成：Guggenheim Museum Bilbao -> Frank Gehry -> Bilbao -> Pritzker Architecture Prize。第一跳需要从图像识别具体分馆，是 P-hop；第二跳查建筑师，是 K-hop；第三跳通过背景城市验证具体分馆，是 P-hop；第四跳查建筑师奖项，是 K-hop。

更重要的是，PKC 在合成问题后不会丢掉路径。每一跳的实体元数据都会被保留，并继续服务于后续两个阶段：一方面定义 Search World 中 Agent 应逐步抵达的结构化搜索空间，另一方面为强化学习提供天然的奖励锚点。

因此，SearchEyes 可以把“路径即标注”真正落地。传统数据合成往往只留下最终问答，而 SearchEyes 保留整条路径，让它贯穿数据生成、环境交互和 RL 训练。

为了避免模型学到捷径，PKC 还加入多级过滤，包括退化路径过滤、single-hop shortcut 过滤、knowledge contamination 过滤、跨模态 grounding 检查和答案可验证性检查。论文中的 ablation 显示，去掉 anti-shortcut filtering 或 P-K alternation constraint 都会显著降低性能。

Search World：把搜索环境标准化

有了 PKC 之后，SearchEyes 进一步用同一套实体和文档构造 Mock Search World。

在这个环境中，Agent 可以调用多种工具。text_search 用于文本检索，visual_search 用于从输入图像或裁剪区域中检索视觉相似实体，lookup 用于读取特定实体对应的 Wikipedia 文档，summarize 用于压缩长观察结果，python_interpreter 用于轻量计算。

由于环境中的文档和实体一一对应到 Wikidata QID，系统能够精确记录 Agent 每一步检索到了哪个实体。这一点对训练非常重要：只有当环境知道模型“走到了哪里”，后续奖励才能判断这一步是否接近 gold chain。

相比依赖外部搜索引擎，Search World 的优势是可控和可复现。外部 API 的排序和返回结果可能变化，但 Search World 中的实体、文档和检索空间是固定的。研究者可以在同一个环境中复现实验，也可以清楚分析模型在哪一跳失败。

换句话说，SearchEyes 为多步搜索 Agent 提供了一个标准化训练场。它不是替代真实互联网，而是在训练阶段提供一个结构清晰、反馈可计算的中间世界，使模型先学会可靠的多跳搜索行为，再迁移到开放场景。

HaPO：把最终奖励拆成步骤级反馈

仅有高质量数据和可复现环境还不够，长链路 Agentic RL 仍然面临 credit assignment 问题。

标准 GRPO 或类似方法通常使用最终答案奖励。对于多跳搜索任务，模型可能在前几步找对实体，最后一步失败；也可能前面路径混乱，但最终碰巧答对。如果所有 token 都共享同一个轨迹级奖励，训练信号会非常粗糙。

SearchEyes 提出 Hop-Anchored Policy Optimization，简称 HaPO。它直接复用 PKC 保留下来的 gold entity sequence，把每一跳实体作为 reward anchor，无需额外训练过程奖励模型 PRM。

HaPO 的直觉是：如果多条 rollout 都在某一步检索到了同一个 gold entity，它们可以被认为到达了相似的中间状态。此时再比较这些轨迹最终是否成功，就可以估计从这个 hop 之后的动作质量。

例如两条轨迹都找到了 Guggenheim Museum Bilbao，说明它们在第一跳都抵达了正确实体。接下来，一条轨迹查到 Frank Gehry，另一条轨迹跑向 Frank Lloyd Wright，HaPO 就可以在这个中间点附近给出更细粒度的信用分配，而不是等到最终答案处才统一奖励或惩罚。

形式上，HaPO 会把命中同一个 gold entity 的 trajectory-step pair 组成 hop anchor group，在组内根据最终 outcome 的差异计算 step-level advantage。这个 advantage 会作用到 anchor 之后的 tokens；没有 anchor 覆盖的部分，则回退到 trajectory-level signal。

这样，强化学习不再只是稀疏的“结局判断”，而更接近“步步为营”：找到正确实体、完成正确模态切换、沿着知识链继续推进，都会获得更直接的训练信号。

论文还加入 fatal-aware masking、one-sided advantage clamping、smooth asymmetric gating 和 observation token masking 等稳定训练设计，减少工具失败、退化后缀和环境文本复制对策略优化的干扰。

训练流程：先学会搜索轨迹，再优化搜索决策

SearchEyes 的整体训练分为 SFT 和 RL 两个阶段。

在 SFT 阶段，研究团队先用 expert model 在带 retrieval boost 的 Search World 中生成搜索轨迹。Retrieval boost 会提高 gold path 相关文档在轨迹生成时的可见性，让 expert 更容易产出覆盖中间实体的正确轨迹。随后，系统通过 rejection sampling 保留最终答案正确的轨迹，并用 observation denoising 将长文档观察结果压缩成与当前 query 相关的事实。

最终 SFT 数据包含约 30K 条 accepted expert trajectories，来自 10K 个 SFT 问题。训练时，模型学习 Thought、Action 和 final answer 等 agent-generated tokens；环境 observation 只作为上下文，不计入 loss。这样模型学到的是如何基于观察继续行动，而不是背诵环境返回文本。

在 RL 阶段，系统使用 12K 个问题进行在线 rollout，并通过 HaPO 进行策略更新。PKC 中保留的实体路径被重新用作 hop-level reward anchors，使得每一跳搜索都能参与训练信号构造。

这套流程形成了一个完整闭环：PKC 生成问题，Search World 提供交互，HaPO 利用同一条实体路径提供步骤级反馈。

实验验证：开源多模态搜索 Agent 的性能跃迁

研究团队在六个多模态知识密集型 benchmark 上评估 SearchEyes，包括 SimpleVQA、VDR、MMSearch、LiveVQA、BrowseComp-VL 和 FVQA，并额外构建 VisSearch Bench 来专门测试 P-K 交替结构下的多跳视觉搜索能力。

主结果显示，SearchEyes-27B 平均准确率达到 68.1，相比最强开源基线 OpenSearch-VL-32B 的 61.9 提升 6.2 个点；SearchEyes-9B 平均达到 59.3，接近 OpenSearch-VL-30B 的 59.8。

在具体任务上，SearchEyes-27B 在 MMSearch 上达到 82.4，在 FVQA 上达到 79.1，显示出较强的跨模态检索和知识问答能力。SearchEyes-9B 也展现出很高的参数效率，以更小规模接近 30B 级别开源基线。

消融实验进一步说明，提升并不只是来自更大的模型，而是来自结构化数据和步骤级奖励。去掉 P-K alternation constraint，平均分从 61.8 降到 57.6；去掉 anti-shortcut filtering，降到 54.1；用 GPT-4o free-form synthesis 替代图约束合成，只有 49.2。

在 HaPO 消融中，Full HaPO 平均 61.8，相比 Standard GRPO 的 57.8 提升 4.0。去掉 hop-anchored advantage 后平均只有 59.1，说明步骤级信用分配是训练多步搜索 Agent 的关键。

此外，VisSearch Bench 包含 1000 个问题、935 个 Wikipedia 实体图像，要求至少 4 hop、至少 2 个视觉感知 hop，并具有明确的 P-K 交替结构。SearchEyes-27B 在该 benchmark 上达到 24.3，SearchEyes-9B 达到 18.6，显著优于表中普通 Agentic Qwen、OpenSearch-VL、SenseSearch、GPT-5 和 Kimi-K2.5 在这一受控场景下的结果。

结语

SearchEyes 的工作表明，对于多模态搜索 Agent 来说，能力提升不能只依赖更强的 base model 或更长的工具调用模板。训练环境本身就是能力的一部分。

如果环境不可复现，模型就很难稳定学习搜索行为；如果数据合成丢掉中间结构，训练就只能看到最终 QA；如果奖励只在终点出现，强化学习就无法知道每一步该如何改进。SearchEyes 通过模拟搜索世界，把数据、环境和奖励重新耦合在一起，为开源多模态搜索 Agent 提供了一个标准化训练场。

从更长远看，这种 data-environment-algorithm co-design 也指向 Agentic RL 的一个重要方向：数据不是静态样本，而是从环境中生长出来；环境不是外部黑盒，而是能记录结构、返回反馈的训练场；算法也不只是优化最终答案，而是利用环境结构学习每一步行动。

这条思路与 Agentic Proposing、Socratic 系列等工作一脉相承：让模型不只在已有数据上拟合，而是在可构造、可验证、可演化的环境中持续学习。对于 Search、SWE、Computer Use 等 Agent 场景，这种环境构建和奖励塑形能力可能会成为模型 self-evolving 的重要基础。

论文已挂 arXiv，项目主页已公开，欢迎大家建议指正，也欢迎 upvote 和 star。