视而不思：多模态混合专家模型中的路由分心

论文信息

标题: Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

作者: Haolei Xu, Haiwen Hong, Hongxing Li, et al.

发布日期: 2026-04-09

arXiv ID: 2604.08541v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：这篇论文研究多模态混合专家（MoE）模型中的 “见而不思” 现象：模型正确感知图像内容，但在视觉输入上的推理却不如纯文本输入准确。
核心方法：作者先验证跨模态语义共享的存在，随后通过分析路由差异，提出 “路由分散” 假说，并设计路由引导干预，在推理时为任务领域专家增加路由权重。
关键结果：在六个基准上，路由引导干预使三个 MoE 模型的推理准确率一致提升，复杂视觉推理任务最高提升 3.17%（见论文表 2）。
主要局限：方法无法解决感知错误；需要针对不同模型和任务手动选择干预层和强度；对复杂视觉概念的语义对齐质量尚未确认（见论文 “Limitations” 部分）。
适合读者：从事多模态大模型、MoE 路由机制、或推理优化研究的研究者和工程师，也可供关注模型行为分析的技术人员参考。

论文背景和研究动机

近年来，混合专家（Mixture-of-Experts，MoE）架构已成为扩展视觉—语言模型的主流范式。Qwen3-VL、Kimi-VL、Llama4 等模型均采用 MoE，在各类多模态任务中表现突出。然而，论文作者发现了一个被称为 “Seeing but Not Thinking（见而不思）” 的异常现象：模型在图像输入中能正确提取所有数据和文字内容，却在后续推理中出错；而用完全等价的纯文本输入提问时，同一模型却能轻松答对（如图 1 及附录 B 所示）。这一现象挑战了我们对模型如何整合感知与推理的基本理解。

为系统研究该现象，作者在 MATH500 数据集上构建了高清晰度图像版本，并严格分析错误来源。结果表明，在画面清晰无误的情况下，68.2%–73.1% 的错误来自推理错误，仅 26.9%–31.8% 源于感知错误（表 6）。这确认了视觉输入会在信息正确感知的条件下削弱推理能力。

一种自然的猜想是跨模态语义对齐失败：即使图像信息被正确感知，其表征可能未能与文本语义空间对齐。之前的研究已证实密集架构的视觉语言模型具备跨模态语义共享能力，但 MoE 架构是否如此尚无人考察。为此，作者首先设计了跨模态概念干预实验，发现 MoE 模型同样存在跨模态语义共享，语义对齐失败并非唯一原因。

随后，作者将目光转向 MoE 特有的路由机制，分析专家激活模式，发现视觉专家与领域专家在层间分离，而图像输入在中层引发显著的路由偏离，这与推理性能下降高度相关。基于这些发现，作者提出了 “路由分散”（Routing Distraction）假说：处理视觉输入时，路由机制未能充分激活与任务相关的推理专家，反而将计算资源分配给不合适的专家。于是，作者设计了路由引导干预方法，通过增强领域专家的激活来恢复推理性能。

核心方法和技术细节

1. 跨模态语义共享验证

为排除语义对齐失败的解释，作者构建了一个概念干预实验。给定一个数字图像后面跟着文本算术表达式（如 “3” 的图像 + “+ 2 =”），他们提取纯文本输入中源数字和目标数字的隐藏状态向量，然后对图像隐藏状态进行干预：

\hat{\mathbf{h}}_{img}^{(l)} \leftarrow \mathbf{h}_{img}^{(l)} - \alpha \cdot \mathbf{h}_{src}^{(l)} + \alpha \cdot \mathbf{h}_{tgt}^{(l)}

其中 $\alpha=1$ 。这一操作从图像表示中移除源概念的语义向量，添加目标概念的向量。若模型输出变为目标数字对应的答案，则认为干预成功。通过对简单数字图像的 100 个测试样本（感知不成问题），得到的结果呈现明显的倒 U 型：早期层成功率低，表示视觉特征尚未与文本语义空间对齐；中间层（第 8–42 层）成功率超过 90%，证明语义共享；末端层成功率锐降，因为输出分布已确定（图 3a）。这一发现表明 MoE 架构同样具备跨模态语义共享，语义对齐失败无法单独解释 “见而不思”。

2. 专家专业化与路由偏离分析

作者进一步量化了每层专家的专精程度，使用基尼系数衡量计算资源在专家上的集中度。基尼系数高意味着少数专家支配该层的计算。结果显示，早期层基尼系数较低，中后期层较高（图 3b），表明深层专家功能分化更强。

为识别领域专家（如数学推理专家）和视觉专家，他们计算专家在领域特定数据（如 GSM8K）与通用数据（Alpaca）上被 Top-K 激活的频率差 $\Delta\Phi_{l,i}$ 。设定阈值后，数学专家主要集中在中层（图 4），而视觉专家集中在早期和末端层，二者在中间层几乎不重叠。这种层间分离意味着，视觉输入可能削弱中间层领域专家的激活。

作者然后计算了同一问题在文本输入和图像输入下专家激活分布的 Jensen-Shannon 散度（JSD），发现图像复杂度主要影响中间层路由行为，且路由偏离越大的图像版本推理准确率越低（图 3c）。这一强相关性直接支持了 “路由分散” 假说。

3. 路由引导干预

基于假说，作者提出在推理时增强领域专家的路由权重。领域专家识别只需少量（20 个样本）文本参考数据，比较激活频率即可。干预策略有两种：

软干预：对领域专家的路由 logit 增加一个与当前层 logit 标准差成比例的偏置 $\lambda \cdot s(\mathbf{r}_l)$ ，保持路由器一定的灵活性。
硬干预：将领域专家的 logit 直接设置为该层最大值加小扰动，强制激活。

对比随机选择专家的基线，以验证效果来自特定专家而非路由扰动本身。

创新点和贡献

本工作的贡献主要有三方面：

系统刻画并量化了 “见而不思” 现象：在多个最先进的 MoE 多模态模型上展示了该现象的普遍性，并剥离感知错误的影响，确认了推理错误的占比。
提出路由分散假说：从机制层面揭示了视觉输入如何通过路由机制干扰推理。跨模态语义共享的验证排除了对齐失败；层间专家分布的可视化和路由偏离的量化，将现象的原因指向路由机制。
设计并验证路由引导干预方法：通过增强领域专家激活，在三个模型六个基准上获得一致提升，尤其在 MathVerse 上 Kimi-VL 提升 3.17%（表 2）。分析还表明，领域专家的识别定位的是认知功能而非样本特定解法，因此可在不同信息结构的任务间迁移。

此外，论文还解析了专家识别的鲁棒性：只要文本参考能诱发目标领域的推理模式，即使信息不完整（如 MathVerse 的文本版本缺少几何空间信息），识别出的专家同样能有效迁移到视觉任务上（表 3）。但同时提示了领域特异性的重要性：用 GSM8K（简单算术）作为 MathVerse 参考时，改善大幅减少甚至为负，说明需要领域匹配。

实验结果分析

作者在三个 MoE 模型（Qwen3-VL-30B-A3B、Kimi-VL-16B-A3B、Llama4-Scout-109B-A17B）和六类基准上评估。基准分为两类：语义等价场景（MATH500、GPQA-Diamond 化学和物理子集渲染为图像）和自然视觉场景（MathVerse、MATH-Vision、GSM8K-V）。

主要结果（表 2）显示：

软干预在所有模型和大多数基准上均有稳定提升。以 Kimi-VL 为例，在渲染的数学题上从 52.30% 提高到 54.54%（+2.24%），物理题从 29.51% 提高到 32.49%（+2.98%）；在自然视觉的 MathVerse 上从 35.41% 提高到 38.58%（+3.17%）。Qwen3-VL 在化学题上提升 2.15%，在 MATH-Vision 上提升 1.65%。
硬干预效果不稳定，尤其在 Llama4-Scout 上出现严重退化（如化学题从 42.20% 降至 37.16%），因为其 Top-1 路由机制对 logit 扰动极为敏感。
随机干预基线几乎不带来改善，甚至略有下降，说明效果源于正确的领域专家激活。

此外，消融实验显示，仅在中层干预效果最佳，加入早期层或晚期层反而可能损害模型对视觉特征的必要处理（表 4）。增强系数 $\lambda$ 在 0.4–0.6 时对 Kimi-VL 和 Qwen3-VL 最优，Llama4 仅需 0.2（图 5），表明干预强度需针对架构调整。

实践建议

对于多模态 MoE 模型的开发者和使用者，本论文提供了一套低成本、可即插即用的推理优化方法。

识别并激活领域专家：若要提升特定领域（如数学、物理、化学）的视觉推理能力，可参照论文方法，用少量领域文本样本（20 例即可）结合通用文本数据，计算激活频率差异，找出领域专家，再在推理时用软干预适度提升其路由权重。软干预参数 $\lambda$ 可取 0.5 作为起始值，根据任务微调。
干预层范围选择：优先尝试论文中发现的中层（如 Qwen3-VL 的第 6–42 层），避免干预早期视觉处理层和末端层。对于不同架构，可通过类似基尼系数分析或观察领域专家分布来确定最优层区间。
注意文本参考的领域匹配：构建文本参考时，应选择与目标视觉任务推理模式匹配的数据。如数学推理需用同类型数学问题文本，而非简单算术，否则效果不佳甚至负优化（表 3）。
局限与适用边界：该方法不能修复感知错误，适合在模型能正确提取信息但推理失误的场景使用；对于信息提取本身就困难的数据库（如 GSM8K-V），提升有限。此外，超参数（ $\lambda$ 、干预层范围）需根据具体模型和任务手动设定，建议先用小样本验证。

通过上述实践，可在不修改模型权重、不增加训练成本的前提下，有效缓解视觉输入带来的路由分散，提升多模态推理的可靠性。