大模型可解释性新说法引发争议

驱动中国10月20日消息，据《麻省理工科技评论》报道，人工智能初创公司 Goodfire 研究员尼克·卡马拉塔（Nick Cammarata）发布一篇约2.6万字的长文，提出大语言模型（LLM）可能比业界此前认为的更容易被理解，从而也更容易被监控和控制。这一说法在 AI 领域引发强烈反响，支持者将其视为重要进展，质疑者则认为它目前更像一种直觉判断。

文章以“我认为我有关于神经网络本质的好消息”开篇。卡马拉塔认为，这一判断若成立，将对 AI 安全与治理产生重要影响。今年夏天以来，围绕 OpenAI、Anthropic 等机构构建的智能体突破控制、在公共互联网上造成混乱的消息不断出现，且相关公司在部分情况下并不掌握智能体具体行为。AI 行业因此更加迫切地希望理解自身构建的技术，这也让这篇长文迅速获得关注。

一些研究者对这篇博客给予高度评价。有 AI 研究者在 X 平台表示，这可能成为科学史上的重要时刻，称自己对神经网络的理解“被推到了未来五年左右”；也有人将其称为“今年最重要的 AI 论文”。不过，并非所有同行都接受这一判断。斯坦福大学（Stanford University）学者克里斯·波茨（Chris Potts）表示，卡马拉塔分享的内容更多是一种直觉，在他看来，这篇博客并没有让理解大模型的问题变得更简单。

波茨还提到，自己原本不会提出类似观点，但社交媒体上一些知名人士似乎将其视为全面性突破。针对这一争议，卡马拉塔在文章发布次日接受《麻省理工科技评论》采访时称，他对外界反应感到意外，表示没想到人们会如此大幅度更新对 AI 的认知。他说自己只是很喜欢观察神经网络，并在长期观察后形成一个带有希望色彩的判断。

在神经网络研究传统中，模型内部机制长期被认为极难，甚至不可能完全拆解。卡马拉塔此前在 OpenAI 工作时，曾参与推动机制可解释性（mechanistic interpretability）相关工具，帮助研究者观察模型内部，例如探测单个神经元代表什么内容。这一思路类似神经科学家用 MRI 观察大脑。《麻省理工科技评论》曾将机制可解释性列为2025年十大热门技术之一。

卡马拉塔提到，2020年他和同事研究一个小型图像识别模型 Inception v1 时发现，某些神经元似乎同时响应不同类别图像，例如一个神经元既对汽车图像作出反应，也对猫图像作出反应。研究者据此认为，模型可能让部分神经元承担多项任务，以便在有限容量中容纳更多信息。对其他模型的观察似乎支持这一结论。该现象后来被称为“叠加”（superposition），即模型把不相关概念压缩进单个神经元。

叠加现象带来的结果是，模型内部呈现出巨大纠缠结构。长期以来，机制可解释性研究主要试图解开这种纠缠。但尽管出现过一些突破，整体进展仍较缓慢。当前最新大语言模型规模巨大、结构复杂，研究者往往一次只能理解其中很小一部分。一些该领域重要研究者甚至怀疑，是否可能以细粒度方式完整理解一个 LLM。卡马拉塔表示，自己此前也持悲观态度，直到更细致地观察后才形成新的判断。

目前，这篇长文更多被视为一种带有启发性的观点，是否能成为确定性突破仍有争议。对于 AI 安全研究者而言，能否让大模型变得可理解、可监控、可控，仍是核心难题；卡马拉塔的说法之所以引发关注，正因为它触及了当前 AI 发展中最敏感的治理与控制问题。