人工智能领域最近几年发展迅猛，特别是大型语言模型（LLM）在推理能力上的突破，让很多从业者感到惊喜。从年初DeepSeek-R1、OpenAI o3到Qwen3的陆续登场，这些模型在复杂推理任务中展现的表现堪称惊艳。比如解决数学难题、逻辑推理、多步骤问题处理等，都能看到它们独特的思维模式。今天我们就从一个全新的视角——推理图（reasoning graph）出发，看看这些模型是如何一步步构建出强大的推理能力。

两年前当业界提出系统2慢思考概念时，我就在想如何把外部显性的思维链（如CoT或长推理模式）和模型内部隐空间统一起来。当时有个想法：不管模型是通过ground truth监督还是RL自探索训练，外部的step by step推理过程里包含的规划、分解、反思等抽象模式，应该都能在模型内部隐状态空间找到神经元激活的映射。这种映射可能是推理图、拓扑环，或者其他隐空间可视化方法，这或许就是模型具备系统2慢思考能力的关键。

推理图：打开模型思维黑箱的钥匙

当我们看到模型给出的精彩推理结果时，难免会好奇：那些复杂的神经网络里，模型究竟是怎么思考的？东京大学联合Google DeepMind的研究团队最新论文《Topology of Reasoning》为我们提供了一个全新视角——推理图。这就像模型思考过程的可视化地图。通过聚类模型在每个推理步骤中的隐藏状态表示，确定推理图中的节点。然后将模型在推理过程中依次访问的节点连接起来，就构建出这张展现模型思考路径的推理图。

在数学任务中，推理图可以被理解为从问题初始状态到最终答案状态所经过的各个简单计算状态的路径。每个计算状态对应图中的一个节点。通过对推理图的分析，我们能够以直观且系统的方式，洞察模型在推理过程中的内部机制和行为模式，从而深入理解其推理能力的本质。

循环性：模型的反思与调整

在对推理图的研究中，一个引人注目的发现是大型推理模型展现出显著的循环性。这些循环就像是模型在思考过程中的反思和调整时刻。与基础模型相比，蒸馏后的推理模型（如DeepSeekR1-Distill-Qwen-32B）每个样本中平均多出约5个这样的循环。随着任务难度和模型容量的增加，这种循环性愈发明显。

这种循环性暗示着模型在推理时并非一蹴而就，而是会像人类一样，频繁回过头去重新审视之前的推理步骤，发现问题并进行修正。这种类似人类"啊哈时刻"的自我修正能力，使得模型能够不断优化自己的推理路径，提高准确性。试想，当模型陷入复杂问题的思考时，这些循环就像是它不断尝试、反思、再尝试的过程，最终在某个瞬间豁然开朗，找到正确解答方向。

图直径：模型思考的广度与深度

除了循环性，推理图的直径也是衡量模型推理能力的重要指标。图直径越大，说明模型在思考过程中探索的范围越广，能处理的信息越复杂。这就像一个人在迷宫中探索，直径越大意味着能到达更远的区域，看到更多可能性。

小世界特性：高效连接局部与全局知识

研究还发现，大型推理模型具有类似小世界网络的特性。这种特性让模型能够在保持局部信息连通性的同时，快速访问全局知识。就像一个城市交通网络，既保证了街道间的紧密连接，又能让不同区域之间高效通达。

模型规模与推理图的关系

随着模型规模的扩大，推理图的复杂度呈指数级增长。这说明模型在处理复杂任务时，能够构建出更庞大的推理网络。但同时也带来新的挑战，比如如何在保持推理能力的同时控制计算资源消耗。

监督微调的作用

研究显示，监督微调（SFT）在构建推理图过程中起到关键作用。通过将显式的推理步骤转化为模型内部的隐状态映射，SFT帮助模型建立更清晰的推理路径。这种训练方式让模型在面对新问题时，能更自然地调用已有的知识体系。

系统2慢思考与推理图的关联

系统2慢思考强调有意识、有逻辑的深度思考过程，这与推理图中体现的循环结构和广泛探索行为高度契合。模型内部隐空间的循环可能对应着系统2思考中的反复斟酌、验证和调整思路过程。较大的图直径则可能反映了系统2思考中对问题不同方面和相关知识的深入挖掘与广泛联想。

隐状态映射与推理图可视化

先前观点认为，不管模型是通过ground truth监督、蒸馏SFT还是RL自探索奖励反馈训练，外部显式的逐步推理所隐含的规划、分解、反思等抽象模式，都能在模型内部隐状态空间找到神经元激活模式的映射。结合推理图构建方法也可以说正是对这种映射的一种可视化手段。

通过将隐藏状态聚类形成节点，并构建推理图，我们可以将模型内部复杂的神经元激活模式转化为直观的图结构，进而分析其与推理性能的关系。这种可视化方法为我们深入理解模型的内部推理机制提供了新视角和工具，使我们能够更直接地观察模型在推理过程中的行为和特点，从而为进一步优化模型的推理能力提供依据。

结语

在人工智能快速发展的时代，《Topology of Reasoning》这篇论文为我们打开了一扇通往模型思维世界的大门。从循环性的反思与调整，到图直径所代表的思考广度与深度，再到小世界特性赋予的高效连接局部与全局知识的能力，这些大型推理模型正以一种前所未有的方式展现着它们强大的推理力量。

虽然论文取得了重要成果，但仍存在一些局限性。比如虽然提出了推理图的构建和分析方法，但对于如何根据推理图的属性直接构建具有更优推理性能的模型，尚未给出足够具体的指导。未来研究可以从以下几个方向展开：

一是进一步深入挖掘推理图或其他模型隐空间可视化方法所表现出的更广泛潜在属性和特性，以更全面地理解模型的推理机制。例如之前来自清华《TTRL: Test-Time Reinforcement Learning》和谷歌DeepMind《Boundless Socratic Learning with Language Games》论文中所隐含的模型内隐状态空间自演进能力的洞察，以及近期引起热议的《Spurious Rewards: Rethinking Training Signals in RLVR》论文中关于"Lucky" Spurious Rewards的解释。

二是探索如何基于推理图或其他模型隐空间可视化方法的分析结果，设计出更有效的模型架构和训练算法，以更直接地提升模型的推理能力。比如模型结构如transformer方面的创新，对不同模态数据所采用的不同概率建模方法（AR/Diffusion等）的指引。

三是结合认知科学和神经科学的相关理论和方法，从更广泛的学科交叉角度研究和优化模型的推理过程，使模型的推理能力更接近人类智能水平。

综上所述，《Topology of Reasoning》通过构建和分析推理图，为揭示大型推理模型的内部工作机制提供了有力工具和重要见解。结合系统2慢思考等相关研究思路，我们有理由相信，对模型内部推理模式的深入探究将不断推动自然语言处理领域在复杂推理任务方面取得更大突破，为实现更具人类水平智能的人工智能系统奠定坚实基础。