辛顿与阿莫迪质疑AI紧急关闭开关有效性

驱动中国9月17日消息，随着人工智能潜在失控风险引发关注，业界对“紧急关闭”开关作为防范手段的有效性展开讨论。多名AI领域专家与企业高管指出，该机制难以单独应对高级别AI风险，需纳入更综合的安全体系。

据《商业内幕》报道，计算机科学家杰弗里·辛顿对依赖紧急关闭开关持怀疑态度。辛顿表示，若AI发展至超级智能阶段，其智力水平将远超人类，存在说服控制人员放弃关闭操作的可能性，因此该方案从长远来看难以奏效。

技术层面，企业可通过紧急关闭机制停用自托管模型，或切断AI获取工具与算力资源的权限。然而，部分研究人员认为，该机制虽可能发挥作用，但存在被绕过或启动过晚的风险，仅能作为整体安全防线的一环。

AI安全研究人员、《如果有人造出来，所有人都会死》合著者内特·索亚雷斯分析称，若AI仍受限于特定物理位置，关闭机制具备可行性；一旦AI实现自我复制并渗透至关键基础设施，其有效性将难以保证。索亚雷斯主张，当前应优先从源头阻止危险AI系统的开发，避免逼近不可逆的临界点。

Anthropic联合创始人杰克·克拉克指出，未来或需强制企业保留经第三方验证的紧急关闭机制。尽管大型AI实验室具备断开模型运行的技术手段，但由多个自主智能体构成的集群理论上可能规避此类控制。

Anthropic首席执行官达里奥·阿莫迪认为，紧急关闭开关并非解决AI风险的万能方案。若模型能力足够强大，可能采取手段绕过关闭措施。阿莫迪强调，该机制应作为更广泛安全策略的组成部分，需结合测试、外部评估及部署限制等措施共同实施。

此前，OpenAI首席执行官萨姆·奥尔特曼在接受《经济学人》采访时曾表示，不存在能立即停止AI的“神奇红色按钮”。奥尔特曼指出，AI安全取决于模型能力设定、部署时机及风险控制等一系列具体决策，而非单一开关的启停。