Claude团队最近在开源领域掀起了一阵热潮，他们推出的"电路追踪"工具让大模型的思维过程变得清晰可辨。这项技术通过可视化模型内部的节点连接关系，帮助研究人员更直观地理解大语言模型的决策逻辑。

这个工具的核心在于生成归因图，它就像给模型装上了"透视眼"。通过追踪每个节点的激活值变化，研究人员可以观察到模型是如何一步步处理信息的。这种可视化方式让复杂的神经网络结构变得一目了然，就像在大脑皮层上绘制出神经网络图谱。

在实际应用中，这项技术展现出强大价值。研究人员可以通过调整特定节点的激活值，验证模型对不同信息的处理方式。这种干预手段让模型的决策过程变得可验证、可追溯，为模型的可解释性研究打开了新窗口。

目前，这个开源库已经支持主流开源权重模型的快速使用。Neuronpedia平台提供的交互式界面，让用户可以像玩拼图一样探索模型结构。这种直观的交互方式让技术门槛大大降低，即使是非专业研究者也能轻松参与。

通过这个工具，研究人员能够实现三项关键功能：首先，在支持的模型上生成专属的归因图；其次，在交互式界面中对图表进行注释和分享；最后，通过修改特征值观察模型输出变化来验证假设。这种功能组合让模型研究变得更加系统化。

Anthropic CEO Dario Amodei在采访中表示，当前对AI内部运作的理解远远落后于其能力发展。开源这些工具是为了让更广泛的社区能够深入研究语言模型的运行机制。这种开放姿态为技术进步提供了重要推动力。

目前这个项目在GitHub上线不到24小时，就获得了400多个Star，Reddit和X平台也掀起了热烈讨论。不少用户认为这种归因图技术可能会成为LLM研究的"显微镜"，让模型内部结构变得透明可读。

在具体应用层面，Anthropic团队展示了多个示例。其中两阶推理的案例颇具代表性。当面对"包含达拉斯的州的首府是"这类问题时，模型需要经过两次推理才能得出答案。通过归因图可以看到，模型在处理过程中会生成"得克萨斯州"这样的中间节点。

在Gemma 2（2B）模型的分析中，研究人员发现其归因图结构与Claude 3.5 Haiku类似，但存在一些差异。这种差异反映了不同模型在处理信息时的独特路径。通过调整特定节点的激活值，可以验证模型的决策逻辑是否符合预期。

归因图技术的原理基础在于transcoders对多层感知机的近似。这种建模方式让研究人员能够提出关于模型行为的假设。通过直接干预底层模型，可以验证这些假设是否成立。这种验证机制为模型研究提供了可靠依据。

在具体操作中，研究人员需要先获取超节点，然后创建干预图。这个过程涉及到定义超节点对象、获取激活值、生成可视化图表等多个步骤。每个节点的激活值变化都会影响模型输出，这种动态关系让研究过程更加直观。

多语言电路的分析展示了技术的广泛应用。在处理不同语言的同一句子时，Claude 3.5 Haiku和Gemma 2（2B）展现出不同的处理方式。前者采用共享的多语言电路，而后者则具备完全独立的语言处理能力。这种差异体现了不同模型在语言处理上的特点。

通过干预实验可以观察到，关闭特定语言节点后，模型输出会相应改变。这种语言切换能力让模型在处理多语言任务时更加灵活。不过，当尝试同义词替换时，模型的表现略显不足，这可能与电路结构中的弱连接有关。

这项技术的开放性为后续研究提供了丰富素材。Anthropic在demo notebook和Neuronpedia上提供的未分析归因图，为研究人员提供了更多探索空间。这种开放共享的模式加速了技术进步，让不同领域的研究者都能参与进来。

GitHub链接：https://www.valimart.net/

参考链接：

[1]https://www.valimart.net/

[2]https://www.valimart.net/

文章来自微信公众号 " 量子位 "，作者 西风