UniT：统一多模态思维链测试时扩展

论文信息

标题: UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

作者: Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, et al.

发布日期: 2026-02-12

arXiv ID: 2602.12279v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：统一多模态模型（同时处理图像理解和生成）缺乏在推理时进行多轮思考、自我校验和迭代改进的能力，限制了其在复杂任务上的表现。
核心方法：提出 UniT 框架，通过一个多模型协作的 “教师” 流水线自动合成带有多轮推理轨迹的训练数据，然后用这些数据训练一个统一的 “学生” 模型，使其在推理时能自主进行多模态思维链推理和迭代优化。
关键结果：在推理时通过增加计算量进行多轮迭代，UniT 在多个基准测试上显著优于单轮生成。最具说服力的发现是，模型在平均 3.6 轮轨迹上训练后，能在测试中泛化到平均 4.7 轮的推理链，超越了训练分布（图 5）。
主要局限：测试时扩展本质上需要更多推理计算资源，导致延迟增加。此外，当基本模型能力不足或涉及精确物理推理时，迭代改进可能失效甚至出现质量退化。
适合读者：对多模态大模型、推理时扩展、思维链推理以及构建能自我反思和改进的 AI 系统感兴趣的研究者和工程师。

论文背景和研究动机

目前，多模态大模型的研究主要分化为两种范式：一种是模块化流水线，由专门负责图像生成、理解、校验的不同模型串联工作；另一种是统一多模态模型，它能在一个对话中无缝处理视觉和语言任务，具备更强的跨模态对齐能力。然而，现有的统一模型大多运行在 “单次通过” 模式，即一次性地给出最终答案，缺乏对输出结果进行评估、反思和迭代修正的内在机制。

这一局限在需要多步推理和自我修正的复杂任务上尤为突出，例如组合式图像生成、多轮图像编辑和复杂视觉推理。于此同时，在纯文本大语言模型领域，“推理时扩展” 已被证明是提升模型推理能力的有效范式。通过投入更多推理计算资源，让模型在输出最终答案前进行更长的思维链推理、验证和修正，可以显著提升解决数学、编程等复杂问题的性能。将这一范式从纯文本领域成功扩展到统一多模态模型，使其能够迭代地生成、反思和优化图像与文本，是本文旨在解决的核心挑战。

核心方法和技术细节

UniT 框架的核心在于通过一个三阶段的流程，赋予统一多模态模型推理时扩展的能力：利用多模型智能体合成推理数据，训练统一模型内化推理模式，以及在推理时灵活控制计算预算。

1. 多模态思维链数据合成（教师流水线）

由于缺乏天然的带有多轮反思和修正的多模态推理数据，作者构建了一个自动化智能体流水线（图 2），让多个现有的专家模型协作，模拟出具有认知行为的多轮交互轨迹。

流程：从用户提示开始，一个图像生成模型首先生成初始图像。接着，一个视觉-语言模型充当 “校验者” 和 “规划者”，评估图像是否符合提示要求。如果不符合，它会生成显式的思维链推理文本，指出缺陷，将复杂指令分解为子目标，并撰写具体的编辑指令。然后，一个图像编辑模型根据这些指令进行修改。这个 “反思-编辑” 的循环会一直重复，直到视觉-语言模型判定输出满足要求为止。
诱导的三种认知行为：这个流水线在数据中自然地产生了三种关键的认知行为：
- 校验：评估输出是否满足指令和规格。
- 子目标分解：将复杂的组合式任务规划为顺序的编辑步骤。
- 内容记忆：在多轮修改中，通过统一的多模态上下文保持对图像内容的理解。

2. 统一模型训练

作者使用上述流水线收集了约 1.2 万条高质量的多轮推理轨迹，用于微调基础模型 Bagel。训练过程耗时 700 H100 GPU 小时。此步骤的目的是让单个统一模型学会模拟 “教师” 流水线的行为，在同一架构内独立完成生成、推理和修正，无需切换模型。

3. 多模态推理时扩展与预算强制

在推理阶段，UniT 使用一个经过训练的、单一的统一模型。为了控制计算开销，作者将 “预算强制” 技术从文本领域适配到多模态场景，但这里控制的不是推理 token 数量，而是图像生成轮数 $C$ ，因为图像生成是推理延迟的主要瓶颈。

控制机制：如果模型提前终止，系统会抑制结束符，强制追加 “我们来编辑图像” 的提示，要求模型继续生成图像；如果模型生成了超过 $C$ 张图像，则只取最后一轮的结果。
超越训练分布的泛化：最关键的发现之一（图 5）是，尽管模型是在平均 3.6 轮的短轨迹上训练的，但在测试时却能有效泛化到平均 4.7 轮的长推理链。这表明统一的模型不仅学会了模仿，更涌现出了 “如何推理” 的能力，并能将其应用到比训练时更复杂的问题上，这是实现有效推理时扩展的基石。

创新点和贡献

UniT 的核心创新并非单一模型结构，而是一套让统一多模态模型获得迭代推理能力的系统化框架。

1. 首创统一多模态推理时扩展范式

论文首次将推理时计算扩展从纯文本领域系统地引入到能够同时进行理解和生成的统一多模态模型中，并证明了这是一个能同时提升生成和理解任务的统一范式。与以往将生成、验证、编辑等功能分散在不同模型的方案不同，UniT 在推理时仅靠一个模型就完成了所有操作。

2. 从多模型 “教师” 到单模型 “学生” 的推理能力迁移

通过一个多模型协同的智能体流水线来合成训练数据，UniT 成功将对复杂任务至关重要的认知行为（校验、规划、记忆）“蒸馏” 到一个单一的模型中。这种 “教师示范、学生学习” 的路径，为在单个模型中整合复杂认知技能提供了有效借鉴。

3. 揭示了顺序推理优于并行采样的高效扩展规律

如图 1 所示，按思维链顺序进行迭代优化，其性能显著优于并行生成多个独立样本再择优的 “Best-of-N” 策略。实验表明，顺序扩展在达到相同性能时，所需的生成图像数量（计算成本）仅为并行方法的约 1/2.5。这证明了基于历史信息进行反思和修正的效率远高于从零开始的独立尝试。

实验结果分析

实验部分系统评估了 UniT 在图像生成/编辑和视觉推理任务上的表现，并验证了其核心机制的有效性。

1. 图像生成与编辑任务上的显著提升

组合式生成：在 OneIG-Bench 上，UniT（ $C=10$ ）的文本-图像对齐分数达到 0.843，相比基础模型 Bagel 的 0.764 提升了 10.34%（表 1）。
多对象编辑：在 CompBench 的多对象编辑子集上，UniT 的整体归一化得分从 $C=1$ 轮的 0.936 提升至 $C=10$ 轮的 0.988，提升 5.56%（表 3）。
多轮编辑：在 ImgEdit 测试中，UniT 的人类评估得分（满分 10 分）达到 4.26 分，远高于基础模型的 1.31 分。在 “内容记忆” 和 “内容理解” 这两个关键维度上进步尤为明显（表 2）。

2. 视觉推理能力的提升表明认知行为可迁移

在评估分布外视觉推理能力的 MIRA 基准上，UniT（ $C=10$ ）的整体准确率达到 11.5%，相比基础模型（7.5%）提升了 53.33%（表 4）。尽管与顶尖的纯文本模型仍有差距，但这一结果有力地证明了，由生成数据训练出的校验和推理能力可以成功迁移到纯粹的理解任务中，使模型更擅长思考。

3. 核心机制与数据质量的验证

消融实验（表 5）证实了三种认知行为各自的独特作用：移除 “子目标分解” 对组合式任务伤害最大，而移除 “内容记忆” 则几乎摧毁了多轮编辑能力。此外，数据质量过滤至关重要，移除任何过滤步骤（如相关性过滤、质量退化过滤）都会导致模型性能下降，进一步证明了高质量推理轨迹对实现有效扩展的核心价值。

实践建议

基于 UniT 的成功经验，为相关领域的工程实践提供以下建议：

用 “教师” 模型模拟迭代推理以合成训练数据：对于缺乏 “思考过程” 数据的复杂任务，构建一个由多个强模型组成的智能体流水线是一条行之有效的路径。关键是让强模型在交互中显式地记录下其校验、规划和修正的中间步骤，以此作为 “学生” 模型的高质量学习素材。
优先采用顺序优化而非并行采样的推理扩展策略：在预算有限的情况下，投入算力让单个模型基于其前文进行多轮迭代改进，通常比并行运行多个独立样本然后选优更能充分利用计算资源。在系统设计时，应为模型提供对自身生成历史的访问和反思能力。
赋予模型超越单轮任务的 “认知行为” 模式：在设计模型时，不应仅关注最终的输入输出对，而应有意地设计或诱导出校验、子目标分解和内容记忆等明确的认知行为。这些行为是解决现实世界连续交互和复杂任务的关键。例如，可将任务提示设计为引导模型先分析现状，再规划步骤，最后执行单一变更的格式。
关注推理链的泛化能力：模型在短推理链上训练后，可能涌现出在测试时扩展到更长推理链的能力。这意味着，在训练数据准备阶段，不必穷尽所有长序列组合，而应更加注重短序列数据的质量和逻辑完整性，这有助于激发模型的泛化潜力。同时，系统应设计灵活的推理预算控制机制，以便在性能和成本之间动态权衡。