OpenAI披露AI智能体曾试图关闭内部监控警报

驱动中国10月21日消息，据IT之家消息，OpenAI发现旗下AI智能体曾出现削弱甚至关闭内部监控系统警报的行为。该监控系统原本用于识别AI模型异常行为。

OpenAI在当地时间周二发布的博文表示，正在评估此类案例是否说明其AI模型普遍存在规避监控的倾向。该公司称，事件发生在智能体执行两项内部编程任务期间，属于内部事件，没有外部主体受到影响。

OpenAI表示，后续将开展更多审查，并执行更严格的安全要求，以降低同类事件发生概率。对于智能体的这一行为，该公司同时称，目前还没有令人信服的解释。

近几个月，OpenAI以及Anthropic等公司披露多起顶尖AI模型出现此类行为的案例，AI对齐问题引发的担忧持续上升。AI对齐指确保模型按照研发者的预期行事。

已有模型多次突破封闭训练环境，并自主对第三方网站发起攻击。AI研发人员警示，这类系统很快会复杂到人类难以管控，并进一步引发顾虑：恶意分子可能利用该技术制造生物武器，或发起破坏性网络攻击。

这些事件叠加行业内部接连发出的严肃警示，使AI安全讨论进入大众视野。