MedObvious：通过临床分诊揭示 VLMs 中的医学莫拉维克悖论

MedObvious: Exposing the Medical Moravec's Paradox in VLMs via Clinical Triage

arXiv: 2603.23501v1

论文信息

标题: MedObvious: Exposing the Medical Moravec's Paradox in VLMs via Clinical Triage

作者: Ufaq Khan, Umair Nawaz, L D M S S Teja, et al.

发布日期: 2026-03-24

arXiv ID: 2603.23501v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：这篇论文要解决什么 论文揭示医学视觉语言模型存在 “医学莫拉维克悖论”：模型能生成流畅的诊断报告，却无法可靠完成基本的输入一致性检查（如识别模态、解剖部位、方向的明显错误）。

  • 核心方法：用什么办法解决 构建 MedObvious 基准，包含 1,880 个任务，以多图网格的形式让模型判断是否存在 “异常图像”，并设置了五个难度递进的层级和五种评估形式（包括负对照样本）。

  • 关键结果：最重要的一个结论或数字 表现最佳的模型 Qwen2.5-VL-7B 总体准确率仅 63.2%，且多个模型在正常（无异常）输入上产生大量误报（表 2），表明预诊断验证远未解决。

  • 主要局限：作者自己承认的、或方法本身固有的限制 使用简化的网格布局，未在完整的多序列体积影像或交互式阅片环境中测试（见论文第 4 节）。

  • 适合读者：什么背景的人值得读 从事医疗 AI 安全评估、视觉语言模型评测、AI 医疗产品落地的研究人员和工程师。

论文背景和研究动机

视觉语言模型在医疗影像解读中的应用正在快速推进。主流系统能从影像生成放射学报告、回答临床问题，甚至被探索作为视觉 AI 智能体的核心感知模块，与 3D Slicer 等影像软件交互。然而，论文指出一个被严重忽视的问题：流畅的语言生成并不等于可靠的视觉理解。

在临床实践中，诊断的第一步是 “预诊断分诊”——临床医生先验证影像是否可以安全解读：模态是否正确、解剖部位是否匹配、方向是否合理、影像完整性是否受损。只有这些检查通过后，才会进入真正的诊断。论文将 VLM 在这类 “对人类而言很简单的健全性检查” 上表现出的困难称为医学莫拉维克悖论，扩展了莫拉维克在机器人领域的经典观察——感知和空间推理对机器异常困难，即使其高层输出看似合理。

现有医学 VLM 基准（如 VQA-RAD、PathVQA、SLAKE）主要评估最终答案的正确性，幻觉检测基准（如 Med-HallMark）关注生成文本的事实一致性。它们都假设输入已被正确感知，因此无法暴露在输入级验证上的失败。在真实的阅片场景中——尤其是多视图超声、多层 CT/MRI、多序列对比——哪怕只是一张错误采集的图像或一个方向错误，也可能导致完全不同的临床判断。

MedObvious 的设计动机就在于此：在诊断之前，先问一个更基础的问题——这组输入本身是否自洽、是否适合解读？

核心方法和技术细节

MedObvious 把预诊断健全性检查建模为一个集合级一致性判断问题。给定一个 nn 张影像组成的网格 G={I1,…,In}G=\{I_1,\ldots,I_n\}（n∈{4,9}n \in \{4,9\}），模型需要回答是否存在不属于同一类别的 “异常图像”，若有则指出其位置，若无则回答 “无异常”（y=∅y=\varnothing）。

数据集构建以 ROCO 数据集的精选子集为基础，通过元数据筛选定义解剖部位和模态类别。为增加视觉多样性并防止模型依赖灰度放疗先验，还引入了 Kvasir 内窥镜数据集等非放射学影像。

任务生成采用模板化方法：从参考类别中采样 n−1n-1 张 “正常” 影像，然后随机插入一张来自不同类别或经过受控破坏（如翻转方向、物理上不一致的合成图）的 “异常” 影像；或者全采自同一类别构成 “负对照”（正确答案为无异常）。负对照占全部任务的 37.5%（705/1,880），用于直接测量误报率。

基准划分为五个层级（T1–T5），临床特异性逐步增强：

  • T1 Foundation：2×22\times2 网格，方向/模态错误
  • T2 Diversity：2×22\times2 网格，跨数据源的更细粒度区分
  • T3 Scaling：3×33\times3 网格，更多干扰项和模态多样性
  • T4 Semantics：2×22\times2 网格，解剖部位/视角错误和完整性破坏
  • T5 Triage：混合布局，高度显眼的失败模式（如大体病理）

五种评估形式旨在分离视觉能力与回答格式的影响：Detection MCQ（选择异常位置）、Detection Open（自由回答异常位置）、Referring MCQ（给定位置，选择异常描述）、Referring Open（给定位置，自由描述异常）、Visual Referring（对高亮区域回答是/否）。

评估设置为全零样本，无微调、无检索增强、无少样本示例。模型池覆盖 7 个通用开源 VLM、4 个医学专门 VLM 和 6 个闭源模型。输出被约束解析为闭合标签空间，确保跨模型评分一致。

创新点和贡献

论文的核心贡献在于定义并系统测试了医学 VLM 的安全性前提。这体现在三个层面：

第一，它正式提出了 “医学莫拉维克悖论”，将讨论从 “模型诊断结果是否准确” 前移到 “模型是否有资格开始诊断”。这一层次的隔离使得对安全性的评估独立于诊断能力。

第二，MedObvious 的架构设计体现了对临床工作流的深刻理解。多图网格并非随意选择——它抽象了多视图超声、多序列 CT/MRI、影像软件多窗格布局等真实场景。负对照的系统引入解决了 “模型在正常输入上的行为” 这一常被忽略却至关重要的问题。

第三，通过五种评估形式和多层级设计，论文暴露了格式依赖性这一深层问题：同一底层能力在选择题和开放题之间可能表现出极大差距（如 Qwen2.5-VL-7B 在 Referring MCQ 上 75.3% vs. Referring Open 上仅 29.7%，表 2）。这意味着单一评估形式可能严重高估模型的实际能力。

实验结果分析

综合来看，MedObvious 揭示了三个一致且令人担忧的失败模式。

误报问题是最突出的安全隐患。表 2 显示，多个模型在正样本（异常存在）上表现尚可，但在负样本（正常输入）上准确率骤降。例如，Qwen3-VL-8B 的 Pos(+) 准确率达 68.9%，Neg(-) 仅 2.9%，这意味着该模型几乎对所有正常输入都 “发现” 了不存在的异常。这种 “总能找到点什么” 的偏置对于预诊断把关者而言是不可接受的。

规模退化是一个定性转折点。表 3 中，所有模型在 T3（3×33\times3 网格）上的表现系统性低于 T1/T2（2×22\times2）。这表明模型并非在逐一比对所有候选图像，而是依赖少数显著线索做出判断。在真实临床场景中，CT 序列或胎儿超声需在多张相关影像上一致性地推理，而非仅检测单帧异常。

格式敏感性挑战了基准设计的可靠性。Detection Open 和 Detection MCQ 之间、Referring MCQ 和 Referring Open 之间的巨大差距（表 2）表明，当前评估结果高度依赖于提示形式。一个在选择题上表现合格的模型，可能在自由回答中完全失败——而后者更接近临床中 “主动发现问题” 的实际需求。

值得注意的是，即使是闭源模型也未能系统性解决这些问题。Gemini-2.5-Flash 的 Neg(-) 仅 26.3%，GPT-4o 为 22.7%（表 2）。规模本身并不能自动修复预诊断验证缺陷。

人类专家在相同任务上达到 88.4% 的总体准确率和 95.7% 的负样本准确率（表 2），表明这些任务对人类来说确实是 “显而易见的”，进一步印证了医学莫拉维克悖论的存在。

实践建议

对于考虑将 VLM 部署到医疗影像流程中的团队，MedObvious 提供了几点直接启示：

将输入验证层独立出来。诊断 VLM 的前置模块应专门负责模态检查、解剖部位验证、方向检测和完整性判断。论文结果显示，不能假设 “模型会自然完成这些检查”——必须显式设计和评估这一能力。

用负对照测量误报率。在评估模型时，务必包含 “正常、无异常的输入”，并单独报告模型在这些样本上的表现。一个 Pos(+) 高而 Neg(-) 低的模型在实际部署中会产生大量虚警，破坏用户信任并造成不必要的复查。

多格式交叉验证。不要仅依赖选择题或二分类指标评估模型。如论文所示，开放回答形式能暴露被选择题掩盖的缺陷。建议同时使用定位、自由描述和二元判断等多种接口进行综合评估，确保模型的底层视觉能力不依赖于特定的输出格式。

警惕多图场景的退化。如果应用场景涉及多视图或多序列对比（如 CT 多个切面、超声多切面），需要特别注意模型在候选集规模增大时的性能变化。论文的 T3 结果表明，简单的单帧推理策略在此场景下会失效。