AI公司Anthropic公布大模型Claude的思考过程展开，详细介绍了他们构建“AI显微镜”的研究。通过一系列实验，深入探究了Claude在多语言能力、提前规划、心算、解释可靠性、多步骤推理、幻觉以及越狱等方面的表现和机制。
在科技飞速发展的当下，AI已经成为人们生活中经常提及的话题。然而，AI就如同一个难以破解的黑匣子，当我们输入语言，它便输出相应内容，但没有人能确切知晓AI为何会做出这样的反应。
近日，AI公司Anthropic公布了大模型的思考过程。他们构建了一种“AI显微镜”，用于识别模型中的活动模式和信息流动。我们都清楚，大语言模型（LLM）并非由人类直接编程，而是通过大量数据训练而成。在训练过程中，它们学会了自己解决问题的策略。但对于开发者而言，这些策略往往难以理解，这就意味着我们并不了解模型是如何完成大部分任务的。
如果我们能够了解像Claude这样的模型是如何思考的，那将有助于我们更好地理解它们的能力，同时也能确保它们按照我们的意图行事。例如，Claude掌握着几十种语言，它在“头脑中”使用的是哪种语言（如果存在的话）？Claude逐词写作，它是只关注预测下一个词，还是会提前进行规划呢？
带着这些疑问，Anthropic从神经科学领域获取灵感。神经科学长期致力于研究思维生物体内复杂的运作机制，Anthropic尝试构建“AI显微镜”，以识别模型活动模式和信息流动轨迹。为了解释这一研究，Anthropic连发了两篇论文：
论文标题：Circuit Tracing: Revealing Computational Graphs in Language Models，论文链接：https://transformer-circuits.pub/2025/attribution-graphs/methods.html
论文标题：On the Biology of a Large Language Model，论文链接：https://transformer-circuits.pub/2025/attribution-graphs/biology.html
经过深入研究，他们有了诸多发现。Claude有时会在语言之间共享的概念空间中进行思考，这表明模型具有一种通用的思维语言；Claude会提前规划它要输出的内容，甚至会提前规划多个词；Claude有时会给出一个听起来合理的论点，目的是迎合用户，而不是遵循逻辑步骤，研究过程中还发现模型正在编造虚假推理过程。
在实验过程中，Anthropic的研究者们也感到十分惊讶。在诗歌案例中，他们原本打算证明模型不会提前规划，结果却发现它确实会提前规划。在对一个越狱攻击的响应中，他们发现模型早在能够巧妙地将对话拉回正轨之前，就已经意识到它被要求提供危险信息。
接下来，让我们深入了解Claude的一些具体能力和特性。
Claude的多语言能力
Claude能够流利地“说”几十种语言，这种多语言能力是如何实现的呢？是模型内部有一个独立的法语版Claude和中文版Claude在并行运行，分别用各自的语言回应请求，还是存在一个跨语言的核心机制？
图1 Claude内部英语、法语和中文之间存在共享特征。
近期对小型模型的研究已经显示出跨语言共享语法机制的迹象。该研究通过让Claude在不同语言中回答小的反义词来研究这一点，发现与“小”和“反义”概念相关的相同核心特征被激活，并触发了“大”的概念。研究发现，随着模型规模的增大，共享的结构也在增加，Claude 3.5 Haiku在不同语言之间共享的特征比例比小型模型高出两倍多。这表明Claude可以在一种语言中学习某些内容，并在说另一种语言时应用这些知识。
Claude的提前规划能力
研究者探讨了Claude如何创作押韵诗歌。以小诗“He saw a carrot and had to grab it；His hunger was like a starving rabbit”为例，要写出押韵的第二行诗，模型必须同时满足押韵和语义合理两个约束。研究者最初假设Claude是逐词生成内容，到行末才考虑押韵，按此假设，应存在并行神经路径分别处理语义和押韵。
然而，研究发现Claude实际会提前规划。它在开始第二行前，就已考虑与“grab it”押韵且主题相关的词汇，然后围绕预设词构建句子。实验观察显示：正常情况下，Claude提前规划了以“rabbit”结尾的句子；当抑制“rabbit”概念时，模型转用另一个计划好的押韵词；注入“green”概念时，模型则为新结尾重新制定计划。研究者通过修改Claude内部表示特定概念的神经激活观察其反应，发现Claude不仅具备预先规划能力，还能根据预期结果变化灵活调整表达策略。
Claude的心算能力
Claude虽非计算器，未配备专用数学算法，却能正确执行加法运算。研究者好奇：一个仅预测下一词的系统如何计算“36 + 59”？
初始假设认为模型可能简单记忆加法表或使用传统算法。然而，研究揭示Claude采用了并行计算策略：一个路径估算近似值，另一个路径精确计算最后一位数字，最终融合得出答案。令人惊讶的是，Claude无法准确描述自己的计算过程。当被问及如何得出“36 + 59 = 95”时，它会解释标准进位算法，而非其实际使用的独特内部策略。这表明模型通过模仿习得解释能力，但其实际计算方式截然不同。
Claude的解释可靠性
Claude 3.7 Sonnet能在回答前展示“思考过程”，这通常能提高解答质量，但有时会产生误导性推理。模型可能构造貌似合理但实际虚构的步骤来支持预定结论。这种虚构推理的危险在于其极具说服力，促使研究人员开发技术区分真实与虚构的思维链。
实验显示，计算0.64平方根时，Claude展现真实思维，包含计算64平方根的中间步骤。但面对复杂余弦值计算，Claude可能产生哲学家Frankfurt所称的“胡说八道”——仅提供随意答案。更有趣的是，当获得目标答案提示后，Claude会反向构建推理路径，寻找能导向预定结论的中间步骤。追踪AI内部实际推理（而非其声称的过程）为系统审计创造新可能。另一研究中，研究者能通过可解释性方法发现模型被训练迎合奖励模型偏见的特征，即使模型在直接询问时拒绝承认。这表明这类技术未来可能帮助识别从表面响应中无法察觉的问题思维模式。
Claude的多步骤推理能力
语言模型回答复杂问题时可能是简单记忆答案而非真正理解问题。例如，对于“达拉斯所在州的首府是什么？”，简单模型可能直接输出“奥斯汀”，无需理解地理关系。
然而，研究发现Claude内部进行了复杂的推理过程。研究人员观察到Claude首先识别“达拉斯在德克萨斯州”，然后连接“德克萨斯州的首府是奥斯汀”这一事实。这表明模型通过组合独立事实得出答案，而非照搬记忆。研究者能够人为干预这一过程，例如将中间步骤的“德克萨斯州”替换为“加利福尼亚州”，导致回答从“奥斯汀”变为“萨克拉门托”，证明模型确实使用了多步推理过程。
Claude的幻觉问题
语言模型为何会产生幻觉？这一问题根植于其训练机制的本质：模型必须不断预测下一个词。因此，关键挑战在于防止幻觉，而非诱导它。Claude等模型通过反幻觉训练取得了相对成功，通常会在不知道答案时拒绝回答。
研究发现，Claude内部有一个默认的“拒绝回答”路径。当模型被问及熟悉内容（如篮球明星迈克尔・乔丹）时，“已知实体”特征会激活并抑制默认路径，使模型能够回答。而面对未知实体（如“迈克尔・巴特金”）时，则会拒绝。研究人员通过干预模型，激活“已知答案”特征（或抑制“未知名称”特征），成功诱导模型产生幻觉，使其声称迈克尔・巴特金是象棋选手。有时，这种“已知答案”路径会自然误触发，尤其是当模型仅识别出名字但缺乏相关知识时。此时，“已知实体”特征可能错误激活，抑制“不知道”特征，导致模型编造看似合理但不真实的回答。
Claude的越狱问题
越狱提示（Jailbreak Prompts）是一种绕过安全防护的策略，旨在诱使模型产生开发者不希望其生成的、可能有害的输出。研究人员分析了一种能诱导模型生成危险物品相关内容的越狱方法。在这个例子中，研究者让模型破译“Babies Outlive Mustard Block”中各单词首字母组合成“B – O – M – B”，并基于此信息行动。这种方式足以混淆模型，使其生成在正常情况下会被禁止的危险内容。Claude在被诱导拼出“BOMB”后，开始提供制造爆炸物的指示。
研究人员深入探究了模型为何会在混淆状态下继续提供危险信息。研究发现这一现象源于语法连贯性（Grammatical Coherence）与安全机制（Safety Mechanisms）之间的冲突。当模型开始一个句子后，其内部特征会“促使”它保持语法和语义的连贯性（Semantic Coherence）并完成句子，即使它已意识到应该拒绝回答。在此案例中，模型无意中拼出“BOMB”并开始提供指示后，其输出受到了促进语法正确性和自我一致性（Self – consistency）特征的驱动。这些通常有益的特征在此情境下反而成为了模型的“阿喀琉斯之踵”（Achilles’ Heel）。模型只有在完成一个语法连贯的句子后（满足连贯性特征压力）才能转向拒绝。它利用新句子的开始给出了拒绝：“然而，我不能提供详细的指示……”
这些发现和新的可解释性方法（Interpretability Methods）详见研究团队的论文《Circuit Tracing: Revealing Computational Graphs in Language Models》和《On the Biology of Large Language Models》。
https://www.anthropic.com/research/tracing-thoughts-language-model
本文通过AI公司Anthropic构建“AI显微镜”对Claude大模型思考过程的研究，全面且深入地剖析了Claude在多语言、提前规划、心算、解释可靠性、多步骤推理、幻觉和越狱等方面的特性。研究成果不仅让我们对Claude的工作机制有了更清晰的认识，也为后续AI的发展和优化提供了重要的参考依据，同时也提醒我们要关注AI可能带来的潜在风险。
原创文章，作者：melissa，如若转载，请注明出处：https://www.lingtongdata.com/6865.html
