Anthropic研究员辞职警告AI自我改进风险

驱动中国9月10日消息，据TechCrunch报道，人工智能公司Anthropic研究员雅各布·考克森(Jacob Coxon)已于近日辞职。他在离职时警告称，AI的自我改进能力正在将人类推向灭绝边缘，并呼吁各大实验室之间签署“节奏协议”(pacing agreement)，以遏制失控的技术竞赛。这一事件再度引发外界对AI安全治理的激烈讨论。

Anthropic被视为AI安全领域的“旗手”企业之一，由一批从OpenAI走出的研究人员创立，旗下Claude系列大模型以对齐(alignment)和安全可控著称。公司长期对外宣称将安全置于商业利益之上，甚至建立了严格的模型发布审查机制。然而，即便在这样的环境里，依然出现了因道德忧虑而选择离开的研究人员，这不禁让人重新审视当前AI发展的真实状态。

据TechCrunch报道，考克森在离职时表达了对于“自我改进AI”的深切担忧。所谓自我改进，是指AI系统能够自主设计、修改甚至重写自己的代码和算法，从而在无人介入的情况下不断迭代能力。考克森认为，这种指数级的进步速度已经超出了人类社会的监管和安全架构的适应能力，他警告称，继续放任这一趋势，无异于“拿我们的生命赌博”。他指出，单靠一家企业的自律远远不够，需要各AI实验室共同设定发展节奏，通过相互约束来降低系统性风险。

考克森呼吁的“节奏协议”在AI安全圈内并非新概念。简言之，它要求几家核心AI开发机构在能力升级和模型发布的时间表上达成一致，并为每一步推进设置相应的安全审计和风险测试环节。这样做的目的是避免各公司陷入“先跑再说”的囚徒困境，防止为了争夺市场先机而牺牲安全底线。然而，由于AI竞赛牵涉到巨额资本和商业利益，这类协议至今难有实质性进展，更多停留在学术讨论层面。

近年来，AI大模型的能力跃迁正以月甚至周为单位刷新人们的认知。从文本生成到多模态理解，再到智能体自主决策，系统自主性不断增强。与之相伴的是，越来越多的AI安全研究者选择“用脚投票”，离开头部公司，转而投身非营利研究或公开呼吁监管。考克森并非第一个因安全忧虑退出大厂的人，但他的身份——来自以安全为标榜的Anthropic——使得这一事件更具象征意义。

有观察人士指出，AI安全不是某一家公司的内部问题，而是全行业乃至全人类需要共同面对的系统性挑战。实验室之间的“节奏协议”本质上是一种产业自治机制，其落地需要监管机构、第三方评估组织和公众舆论的共同推动。考克森此次辞职，或许会成为AI治理进程中的一个重要节点，让更多人意识到：比模型能力更值得竞争的，是如何安全地驾驭这种能力。

从商业逻辑上看，没有任何一家公司愿意主动放慢脚步，因为这样做可能导致市场份额被对手抢占。但从人类整体利益出发，无序的AI竞赛却可能酿成不可逆的灾难。自我改进AI一旦突破临界点，其决策速度和复杂程度将远超人类理解范围，届时再谈监管可能为时已晚。考克森的警告，听上去刺耳，却是一个理性人在风险计算后的真实选择。

AI技术的发展史，也是人类不断与技术风险博弈的历史。考克森的离职，给如火如荼的AI竞赛蒙上一层阴影，也为人们重新校准发展伦理提供了契机。正如他所呼吁的那样，在追求强大AI的同时，人类更需要一套让技术“踩刹车”的机制。而这，需要所有实验室和相关方拿出真正的诚意与行动。