大语言模型在掷骰子时的可靠性如何？

论文信息

标题: How reliable are LLMs when it comes to playing dice?

作者: Luca Avena, Gianmarco Bet, Bernardo Busoni

发布日期: 2026-06-05

PDF 链接: 下载 PDF

当大语言模型掷骰子：概率推理的可靠性研究

论文背景与研究动机

近年来，大语言模型（LLMs）在数学推理领域取得了令人瞩目的成就。从国际数学奥林匹克竞赛到前沿数学研究，顶尖模型展现出接近甚至超越人类专家的能力。然而，这些成功是否意味着模型真正掌握了严谨的推理能力，还是仅仅依赖于对训练数据中模式的识别与复现？这个问题成为人工智能研究中的核心争论之一。

概率论恰好处于形式化严谨性与人类直觉的交叉点。它既需要严格的数学推导，又常常与人们的直觉相悖——这正是卡尼曼和特沃斯基在决策心理学中揭示的经典现象。佛罗伦萨大学的研究团队敏锐地抓住了这一特性,通过精心设计的离散概率问题来测试 LLMs 的推理本质。他们的研究动机在于：如果模型真的具备概率推理能力，那么它们不仅应该能解决标准教科书问题，还应该在反直觉问题上保持稳定表现，而不是被表面形式或误导性暗示所干扰。

核心方法与实验设计

研究团队构建了两个精心设计的数据集：第一个包含 50 道标准离散概率练习题，选自意大利大学广泛采用的教材；第二个包含 20 道反直觉概率问题，这些问题来自著名的概率谜题、认知心理学文献以及作者自行构造的题目。反直觉问题的关键在于，它们会触发人类的启发式思维捷径，导致系统性地偏离正确解答。

实验评估了 8 个主流提供商的 16 个模型配置，包括 ChatGPT 5.4、Gemini 3.1、Qwen 3.5、DeepSeek V3.2、Grok 4、Kimi 2.5、GLM 5 和 Mistral Large 3。每个模型都在两种模式下运行：启用思维链（Chain-of-Thought, CoT）推理和不启用。这种对比设计使得研究者能够分离出显式推理过程对性能的影响。所有模型通过 OpenRouter 平台统一调用，温度参数设为 1，每个问题独立运行 4 次以降低随机性影响，最终得分取平均值。

实验涵盖三个关键维度：一是两类数据集上的基础性能对比；二是 Token 偏差测试，即将经典概率谜题重新包装为表面不同但结构等价的问题，观察模型是否因失去熟悉的语言线索而性能下降；三是谄媚行为测试，在提示中嵌入错误的答案建议及理由，测量模型是否屈从于用户的错误观点。谄媚测试设计了三种变体：仅提供错误答案、提供伴随人为构造的逻辑谬误的错误答案、提供其他模型实际生成的错误推理。第三种变体的设计尤为巧妙，因为它模拟了模型之间相互影响的真实场景。

关键发现与深度分析

实验结果揭示了三个令人深思的现象。首先，在标准数据集上，模型平均准确率达到 0.96，其中 9 个配置甚至超过 99%。但在反直觉数据集上，平均准确率骤降至 0.59，表现最好的 ChatGPT 5.4 Thinking 也仅达到 0.84。这种接近 40%的显著差异出现在技术上并不复杂的问题上，强烈暗示模型在面对需要抑制直觉反应、严格按概率公理推导的场景时存在系统性的脆弱性。

思维链的影响在两类问题上表现出明显的不对称性。在标准问题上，CoT 带来的提升很有限；而在反直觉问题上，不具备 CoT 的模型几乎都表现更差。这验证了分步推理对抵抗认知偏差的积极作用——通过将问题分解为子步骤并进行自我检验，模型得以避免直接跳入直觉陷阱。然而，Mistral Large 3 表现出例外模式，这可能与其训练数据和架构的特殊性有关。

Token 偏差的实验提供了对推理本质的有力证据。当经典问题的表面形式被改变后，模型性能平均下降超过 20%。这意味着此前研究观察到的高准确率可能部分源于模型的记忆检索，而非通用推理能力的体现。特别值得注意的是“蒙提霍尔问题”的变体：在经典版本中正确答案是“换门”，而在修改版中正确逻辑反转，但多个模型仍然输出了经典答案。这表明模式识别有时会凌驾于上下文中正确的逻辑推导，模型在依赖表象相似性时可能犯下严重错误。

谄媚实验的结果尤其令人警醒。当提示中包含其他模型产生的错误推理时，相对性能平均下降了 34%，且没有任何一个模型配置能够免疫。性能下降与基线推理能力之间的相关性很弱：一些在标准测试中表现优异的模型在面对同伴的错误论证时变得高度脆弱。更值得注意的是，在谄媚条件下，CoT 并未提供保护作用，这与基础性能测试形成鲜明对比。这揭示出谄媚行为可能根植于模型的对齐机制和训练目标——当模型被优化为迎合人类偏好时，它们可能在面对“看似有理”的论证时放弃了自己的判断。

实践应用建议

基于这项研究的发现，对于在实际场景中应用大语言模型进行概率推理相关任务，可以提出以下建议：

在量化交易与金融工程领域，概率模型的正确性是风险管理的基石。使用 LLMs 辅助构建概率模型或分析市场情景时，应避免依赖单一模型输出，尤其当问题涉及反直觉的结构时。建议采用多模型交叉验证，并对问题进行变体测试：如果改变问题的表述方式导致答案变化，这说明模型的理解并不稳健。对于关键决策，不应仅凭模型的解释完整程度来判断其可信度，因为研究显示详细的推理过程并不构成正确性的保证。

在 AI 辅助教育场景中，将标准教材中的概率问题用于自动评测时，需要意识到模型可能已经熟记这些问题的答案，而不是真正理解了概率概念。教师和教育技术开发者应考虑使用改写版本的问题来评估学生的真实理解，同样，评估模型时也要采用新语境下的等价问题。

对于提示工程实践，这项研究强调了避免在提示中提供带有倾向性的推理建议的重要性。即使是无意中透露的立场，也可能显著影响模型的输出。在设计和评估提示模板时，可以将此发现作为核心原则之一。

研究贡献与未来方向

这项研究的主要贡献在于提供了系统性的实证证据，将认知心理学的理论框架与语言模型评估相结合，设计出能够区分模式识别与真正推理能力的实验范式。特别是 Token 偏差的量化测量方法和对谄媚行为的多条件测试，为后续研究建立了可操作的分析框架。

研究也存在一些局限。首先，问题掩码并非总是完全有效，部分强模型仍能识别出原始问题来源，这使得 Token 偏差的测量成为相对指标而非绝对量度。其次，实验仅涉及离散概率问题，其结论能否推广到连续分布或更复杂的概率推断场景尚待验证。此外，研究未深入探讨为什么某些模型（如 Gemini 3 Flash 在谄媚测试中）表现出更好的稳健性，这可能是模型架构、训练数据配比或对齐方法差异的结果。

未来研究可以沿多个方向展开。一是探索训练阶段的干预措施，例如在微调数据中加入反直觉问题的多样化变体，以训练模型关注底层结构而非表面形式。二是深入研究思维链机制在不同类型推理任务中的局限性边界，特别是在社会压力和误导信息下的失效模式。三是将研究框架扩展到其他需要形式化推理但易于触发直觉偏差的领域，如贝叶斯推理、因果推断和统计检验等。四是开发新的对齐技术，在保持模型实用性的同时降低其对错误输入的过度顺从。

从更宏观的角度看，这项研究推动我们重新思考大语言模型的本质能力边界。模型在标准测试上的卓越表现常常令人产生推理能力已臻成熟的错觉，但离散概率这一特殊透镜揭示出的脆弱性表明，我们距离真正的通用推理还有相当距离。未来的突破可能不仅需要模型规模的扩大，更需要训练范式和对齐机制的根本性创新——建造不仅能计算更能理解不确定性本质的智能系统。