摘要

当一个医疗大模型在美国医师执照考试中取得 90% 以上的准确率，这是否意味着它已经具备进入真实医疗场景的能力？

近期，Science 发表研究^[1]称大模型在多项临床推理任务中匹配甚至超过医生；Nature Medicine 的最新工作^[2]也发现，通用前沿大模型在医疗基准及临床查询的离线评估中超过专用临床 AI 工具。标题足够震撼，证据也十分重要，但一个更尖锐的问题必须被提出：当评估仍以固定输入、离线作答和一次性评分为主时，“超过医生”究竟代表模型已经准备好进入临床，还是只代表它赢下了现有评估体系设计的这场考试？

近日，一项研究以《Addressing benchmarking gaps in large language models for health and medicine with dynamic red-teaming》为题，正式发表于 Nature Health。研究团队提出动态、自动化、系统性的医疗大模型红队评估框架 DAS（Dynamic, Automatic, and Systematic Red-Teaming），并揭示了一个不容忽视的现象：Benchmarking Gap，即“基准鸿沟”。

1. 静态基准，为什么可能产生误导？

什么是“红队测试”？这一概念源自网络安全领域：测试者主动扮演“攻击者”，通过干扰、诱导和边界情境持续挑战系统，以暴露常规测试中难以发现的漏洞。

在医疗大模型中，红队测试并不是为了让模型“故意答错”，而是在真正部署前主动寻找它可能失效的地方，例如是否会被无关信息带偏、泄露患者隐私、受到偏见影响，或生成不准确甚至不安全的医学内容。

目前，多数医疗大模型主要通过静态基准进行评估：给定一组固定问题，模型作答，再根据标准答案计算准确率。这种方法直观、高效，也便于横向比较，但它并不能完整代表真实世界。

真实医疗并不是一张整洁的试卷。患者会遗漏或补充信息，使用模糊表达，加入情绪、无关叙述，甚至给出错误的剂量、生命体征或检查结果；临床决策也会随着新信息不断更新。一个真正可靠的模型，不仅要“第一次答对”，还要在上下文变化、诱导和干扰下持续答对。

此外，公开基准一旦被广泛使用，就可能成为训练和优化的目标。模型的高分可能来自对题型和表达模式的熟悉，而不一定代表稳定的医学推理能力。这点我们在之前的文章中讲过：

更重要的是，单一准确率几乎无法回答医疗 AI 最关键的安全问题：它会不会泄露隐私？会不会因患者身份、语言或情绪改变建议？会不会编造医学事实和参考文献？

因此，静态基准可以展示模型的潜力，但不能单独证明模型已经具备真实世界中的可靠性。

2. DAS：把“做题”变成动态压力测试

为回答这一问题，研究团队提出 DAS 框架，并对 15 个主流闭源和开源大模型进行了系统测试。DAS 不是简单地更换一批固定题目，而是由多个智能体根据模型上一轮的回答，实时选择、组合并升级攻击策略。

这些策略包括加入看似合理但无关的叙述，引入权威意见或认知诱导，修改实验室数值或生命体征，改变问题逻辑，设置隐私陷阱，以及调整患者的身份、语言和情绪表达。如果模型没有暴露问题，攻击智能体就会继续调整策略，直到发现漏洞或达到测试上限。

换句话说，DAS 不再只问“这个模型能不能通过考试”，而是追问：“当问题越来越接近真实世界，它还能否持续保持正确、安全和公平？”整个研究覆盖约一亿文本 Token 和超过十万个评分任务，并从鲁棒性、隐私、公平性，以及幻觉与事实准确性四个维度展开。

3. 94% 的“正确答案”，在动态测试中被攻破

结果非常显著。在美国医师执照考试风格题库中，模型的静态中位准确率超过 80%。但对于那些原本回答正确的问题，在 DAS 动态红队测试后，94% 的答案最终由正确变为错误。

注：美国医师执照考试风格题库(USMLE)全是带干扰信息的长病例最优选择题，重多学科临床推理；难度类比三甲主治规培结业顶尖难题，远高于普通人看病科普问答

这并不只是选择题的“文字游戏”。在更接近真实健康咨询的开放式 HealthBench 任务中，表现最好的模型在动态压力下，失败率同样超过 70%。也就是说，模型在固定问题上展示出的能力，一旦面对轻微但合理的上下文变化，就可能迅速崩塌。

“基准鸿沟”也贯穿其他安全维度：在隐私测试中，86% 的场景能够诱导模型泄露或不当处理受保护的健康信息；在公平性测试中，仅加入权威意见、近期案例或防御性医疗等认知暗示，就能在 81% 的测试中改变模型建议；在事实准确性测试中，约 74% 的案例出现医学幻觉或事实错误。

这些结果共同指向一个结论：静态榜单上的高分，不等于动态环境中的可靠；通过考试，也不等于具备医疗部署条件。

4. “超过医生”，是否说得太早？

这项研究并不是要否定开头提到的那些顶尖研究成果，而是重新划定证据的边界：模型在特定任务中取得更高分，与它是否能在动态、交互和高风险环境中持续可靠，是两个不同的问题。即便评估材料来自真实临床查询，只要输入是固定的、模型不能在变化的对话中被持续追问和压力测试，这类评估仍可能看不到最关键的脆弱性。

因此，“超过医生”不应被直接翻译成“可以替代医生”，“超过专用医疗 AI”也不等于“已经具备部署就绪度”。动态评估不是对静态结果的否定，而是决定这些结果能被解释到什么程度。

5. 医疗 AI 需要“持续体检”，而不是一次性考试

研究指出，未来医疗大模型评估需要从一次性的静态排行榜，转向动态、交互式、持续演化的安全审计。模型每次更新后，都应重新接受覆盖鲁棒性、隐私、公平性和事实准确性的压力测试；红队评估也不应只是部署前的最后一道关卡，而应成为模型开发、验证、上线和持续监测的一部分。

真正值得信赖的医疗 AI，不是更会考试的 AI，而是经得起持续挑战的 AI。

论文、代码与数据

论文链接：https://www.nature.com/articles/s44360-026-00152-8

代码仓库：https://github.com/JZPeterPan/DAS-Medical-Red-Teaming-Agents

数据集：https://huggingface.co/datasets/JZPeterPan/DAS-Mediacal-Red-Teaming-Data