行思合一：通过多轮交互在 LLM 中构建高效世界模型推理

论文信息

标题: Thinking by Doing: Building Efficient World Model Reasoning in LLMs via Multi-turn Interaction

作者: Bao Shu, Yan Cai, Jianjian Sun, et al.

发布日期: 2025-11-28

arXiv ID: 2511.23476v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：当前基于多轮交互训练大型语言模型（LLM）世界模型的方法，往往依赖僵化的结构化推理流程，限制了模型的主动学习能力，导致世界模型推理效率不高。
核心方法：提出 WMAct 框架，通过 “奖励重标定”（根据动作有效性调整结果奖励，激励模型减少冗余交互）和 “交互频率退火”（逐步降低允许的最大交互轮数，迫使模型内化环境动态）两个关键机制，让模型在做事中直接塑造思考。
关键结果：在推箱子、迷宫和出租车三个任务上，WMAct 训练的模型可以只用单轮交互解决原先需要多轮的任务，并且在复杂环境中表现出强迁移能力，提升了多个推理基准的性能（见论文实验部分）。
主要局限：论文未在摘要中明确说明局限性，但从方法本身看，奖励重标定和退火策略的超参数选择可能对环境敏感，且模型对完全未见任务的泛化边界尚需进一步探索。
适合读者：从事 LLM 智能体、强化学习、世界模型推理，以及关注如何让语言模型通过交互自举提升规划能力的研究者和工程师。

论文背景和研究动机

大型语言模型在规划与交互任务中展现出巨大潜力，但要可靠地完成需要多步操作与环境反馈的任务，模型必须建立对世界动态的准确内在表征，即 “世界模型”。多轮交互（multi-turn interaction）是帮助 LLM 理解环境的重要途径：模型在每一轮中做出动作，从环境获取真实反馈，并据此调整后续推理。这种反馈驱动的学习方式理论上比静态提示或少量示例更能捕捉环境的内在规律。

然而，当前的交互训练方法大多将推理过程强制为预设的思维链结构——例如要求模型先分析状态、再列举可能动作、最后评估每个动作的后果。这种结构化的推理虽然便于监督，却严重压缩了模型自主形成推理策略的空间。模型被训练成忠实地执行某个固定的思考模板，而非主动探索 “怎样思考更有效”。因此，面对未见过的环境或需要灵活调整策略的任务时，模型往往过度依赖环境反馈、反复试探，交互效率低下，推理过程冗长甚至无法收敛。

论文的核心洞察是：高效的交互式世界模型推理，应当允许模型自然地通过 “做” 来发展 “想”，而不是将思维强行塞进固定的管道。正如同人类在多次实践中会逐步学会更少依赖外部线索、更快形成心理模拟，LLM 也需要一种机制，使其在多轮交互过程中主动凝练出内在的环境动态模型，从而减少对外部交互的依赖。这一动机直接催生了 WMAct 框架。

核心方法和技术细节

WMAct（World-Model internalization through efficient interaction and Active reasoning）的目标是让模型摆脱强迫的结构化推理，通过 “边做边想” 的方式内化世界模型。其核心包含两个协同工作的机制：

奖励重标定机制

在多轮交互训练中，传统的奖励信号一般只根据最终任务完成情况（如是否将箱子推到位、是否到达出口）给出二元或标量回报。这种做法往往无法区分 “高效探索” 与 “低效试错”：一个模型即使前几轮做了大量冗余动作，只要最终成功，也会获得相同的奖励，从而缺乏动力减少交互轮数。

WMAct 引入动作有效性（action efficacy）来重标定最终奖励。具体而言，训练过程中，每一条交互轨迹的最终奖励 $R$ 会被重新缩放为：

R_{\text{scaled}} = R \cdot \alpha^{\frac{1}{1 + \eta}}

其中 $\eta$ 反映动作序列的有效性（例如，可定义为 “导致环境状态产生积极变化的动作比例”）， $\alpha$ 是缩放因子。动作有效性越高， $\eta$ 越大，奖励被缩放的幅度就越小；冗余动作越多，奖励衰减越严重。这一设计直接激励模型在执行过程中尽可能多地产生 “有用” 动作，抑制无意义的反复试探，促使模型尽早形成对环境的准确预判，而不是靠碰巧成功。

交互频率退火策略

仅靠奖励重标定仍不足以保证模型真正内化世界动态，因为模型可以学会用较少但依然依赖环境反馈的动作完成任务，而不会自主形成纯心理模拟。为此，WMAct 在训练过程中动态限制每轮任务允许的最大交互轮数，采用 “退火” 式递减策略：

I_{\text{max}}^{(t)} = I_{\text{max}}^{(0)} - \lambda \cdot t

其中 $t$ 是训练步数或 epoch， $\lambda$ 控制退火速度。在训练初期，模型被允许较多的交互轮数，以充分探索环境、收集反馈；随着 $I_{\text{max}}$ 逐步下降，模型被迫在越来越少的交互内完成任务。这迫使模型将原本依赖外界获取的信息逐步内化，学会在交互前就在心理层面模拟环境反馈，从而在交互轮数极低（甚至单轮）时也能成功规划。

两个机制并非简单叠加，而是形成正向循环：奖励重标定提供细粒度的动作质量信号，让模型在交互中每一步都讲究效率；交互退火则从全局约束出发，逼迫模型压缩探索过程，从 “通过环境学习” 过渡到 “内部世界模型推理”。整个训练过程不引入任何预设的思维链模板，模型完全通过与环境的交互自组织其推理方式，符合 “thinking by doing” 的哲学。

创新点和贡献

WMAct 的创新性可从三方面理解：

打破结构化推理的范式：与传统方法强制模型遵循固定思考步骤不同，WMAct 给予模型完全的自由去发展自己的推理策略。这种自由使模型能够根据任务本身和交互历史选择最高效的思考路径，而不会被人工模板束缚。
行为驱动的世界模型内化：论文首次将 “内部化世界模型” 这一概念与低层次的交互反馈信号动态耦合。奖励重标定和交互退火从 “动作质量” 和 “交互数量” 两个维度协同施压，引导模型在训练过程中自然形成对环境的心理模拟能力，而非通过增加参数或修改架构来显式建模世界模型。
高效推理与强迁移性：WMAct 训练的模型不仅在原任务上能用极少的交互轮数完成（甚至单轮），而且在复杂环境迁移和多个下游推理基准上均取得性能提升。这表明内化的世界模型具有泛化价值，不只是针对训练环境的过拟合策略。

论文还在 Sokoban（推箱子）、Maze（迷宫导航）和 Taxi（出租车接送）等具有代表性的规划任务上验证了框架的有效性，并提供消融实验证实两个机制各自的作用，增强了结论的可信度。

实验结果分析

在 Sokoban 任务中，基线多轮交互方法通常需要平均 5∼7 轮的交互才能完成任务，而经过 WMAct 训练的模型在训练后期可以在 $I_{\text{max}}$ 退火至 1 轮的限制下仍保持高成功率（具体成功率数据见论文结果表）。这表明模型已经内化了对推箱子动作的后果预测，无需实际看到环境反馈就能在脑中模拟多步操作。

Maze 和 Taxi 任务也呈现类似趋势：模型在训练初期依赖多轮环境探索，到后期几乎可以 “零交互” 或单轮解决。更重要的是，当这些模型被迁移到更大的迷宫、更复杂的出租车路线时，无需额外微调即可比传统多轮交互模型更快适应。论文在多个推理基准（如数学推理、常识问答）上也观察到性能提升，作者将其归因为 “内化的结构化规划能力” 对通用推理有正向溢出。

论文提供的消融实验表明：移除奖励重标定后，模型在交互轮数限制较强时成功率明显下降；仅使用固定低频交互退火而不进行奖励缩放，则模型容易陷入 “猜测成功” 而非真正内化；两个机制缺一不可，共同实现了高效世界模型推理。

实践建议

对于希望在实际系统中构建具备自主规划和交互能力的 LLM 智能体的团队，WMAct 的思路可直接转化为以下工程实践：

动作有效性度量设计：需根据具体任务定义 “动作有效性” 信号。例如在数据库查询任务中，可判断该查询是否返回了新的有效信息；在机器人操作中，可根据传感器变化是否朝向目标。此信号用于缩放最终奖励，训练时可实现为奖励塑形（reward shaping）的变体，直接嵌入强化学习或思想链偏好对齐中。
渐进式交互预算控制：在训练或在线学习过程中，有意识地降低智能体被允许的最大环境交互次数。初期可设置较高的预算（如 5∼10 轮），随后按固定步长或基于性能动态衰减，直到仅允许 1 轮。这模拟了从 “通过反馈学习” 到 “内化模型” 的过渡，可显著提升模型在低延迟场景下的实用性（如在线客服、实时控制）。
去掉强制思维链：在微调数据构建或提示工程中，不应强制模型按照 “先分析、再列举、再评估” 的模板输出。让模型自主决定思考的表述方式，同时配合上述奖励与预算机制，往往能产生更紧凑、更具适应性的推理。
迁移与部署：经过 WMAct 式训练的世界模型可作为通用规划器，迁移到同类型但更复杂的任务上时，只需调整少量 prompt 或环境定义，不一定要重新进行完整的交互训练。这可以显著降低在新场景中部署智能体的成本。
监控与评估：在实际系统中持续监控交互轮数与任务成功率的关系，并以 “单轮成功率” 作为关键性能指标。若单轮成功率下降，说明世界模型过时或环境动态改变，此时可恢复更高交互预算或重新启动退火过程，实现自适应学习。

总之，WMAct 为 LLM 智能体的高效世界模型训练提供了一条去模板化、自驱内化的路径，其奖励缩放与交互退火两大机制可以直接融入现有的强化学习或偏好优化流程，对于需要降低交互延迟、提高自主规划能力的各类应用具有现实价值。