OpenAI公布反蒸馏防护:GPT-6.2提取率降至0.2%

AI 驱动中国 纪行 442次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

OpenAI于当地时间11月20日发布公告,介绍针对对抗性蒸馏的防护进展,称已加强GPT-6.2 Astra与GPT-6.2 Sol对内部推理思考链的保护,黑盒红队测试显示此前请求推理内容提取成功率降至0.2%。

驱动中国11月21日消息,OpenAI于当地时间11月20日发布安全公告,公布针对“对抗性蒸馏”的防护进展。公告称,OpenAI已强化GPT-6.2 Astra和GPT-6.2 Sol对内部推理思考链的保护,以降低其他模型通过提取推理过程获取OpenAI模型能力的风险。

OpenAI将对抗性蒸馏界定为未经授权利用前沿AI模型输出训练其他模型,使后者获得相似能力,却缺少原模型相应安全防护。公司认为,该行为可能把网络安全、生物学等领域的高风险能力转移至安全限制较弱的模型。

在内部自适应黑盒红队测试中,OpenAI评估攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。测试汇总6个攻击模型数据。结果显示,针对此前请求推理内容,提取成功率从GPT-6 Astra原有安全机制下的54.0%降至GPT-6.2 Astra更新安全机制后的0.2%;针对当前请求推理内容,提取成功率从22.9%降至0.9%。

围绕上述防护,OpenAI采用多层措施,包括通过对抗性训练使模型识别并拒绝推理链提取请求,利用输入和输出分类器检测相关攻击及推理内容泄露,并通过API限制不同会话、模型和组织之间的推理内容复用。

公告还说明,GPT-6.2 Astra和GPT-6.2 Sol会把受保护推理内容与生成它的对话历史关联起来。如果此前消息被修改,API将丢弃基于该消息生成的后续推理内容。安全防护较弱的旧版模型也无法读取这两个新模型的受保护推理内容。

在执法层面,OpenAI称今年以来,公司每周都会对涉及未经授权蒸馏活动的账号采取措施,规模从数千个到数万个不等,今年夏季以来相关执法规模明显增加。公司还会调查协调进行大规模提取的账号网络,并与其他模型提供商分享攻击指标,以协助识别相关滥用行为。

OpenAI还介绍了蒸馏安全风险研究,称公司内部测试涉及仅使用模型最终回答、推理摘要和工具交互记录训练的学生。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530342.html
本文价值 ★★★★★ 3 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友