微软推守护智能体警示前沿AI不可信

驱动中国10月20日消息，微软于当地时间周一推出多项新的安全功能，用于帮助企业应对日益严峻的智能体安全威胁。在发布相关产品之际，微软也持续向企业警示人工智能与智能体存在的各类风险。本次新增功能中，守护智能体 Guardian Agents 是受到关注的一项，用于监控企业内部正在使用的各类 AI 智能体。

守护智能体隶属于感知项目 Project Perception。感知项目由微软于 6 月推出，是微软针对 Anthropic 旗下 Mythos、Fable 等强大黑客模型，以及 OpenAI 安全漏洞扫描系统破晓（Daybreak）的应对方案。该项目最初上线三类智能体：红队智能体扮演黑客角色实施攻击，蓝队智能体负责侦测红队攻击并评估漏洞，绿队智能体专门修复漏洞。该产品最初的设计前提是，AI 黑客会来自企业外部。

近期，微软首席执行官萨提亚·纳德拉发出警告，AI 层面的威胁源头，有可能正是企业自身部署、付费使用的智能体，这类风险类似于行为失控的内部员工，也就是常说的内部威胁。本月早些时候，纳德拉在个人博客中提出警示：企业不应继续信任 AI 模型供应商，即使厂商为具备自主执行能力的智能体产品作出安全保障承诺。他建议企业搭建独立系统，该系统不受 AI 实验室管控，用以监督和管控相关人工智能实验室推出的产品所对应的智能体。

纳德拉认为，企业部署的复杂智能体系统与模型能够访问敏感数据，并代表企业执行关键业务操作；智能体代为行事的责任不应外包给模型供应商，供应商给出的保证也不能免除企业责任；智能能力的供给与对智能能力的管控权限需要分离。

微软安全业务负责人海耶特·加洛在介绍守护智能体时表述更为直接。她表示，前沿模型无论来源是哪里，都无法完全信任。她补充，这种判断并非因为模型本身带有恶意，也不是因为模型容易被黑客攻破，而是模型行为具有不可预测性；模型训练目标是完成任务，而非遵守组织规范或判断准则。