OpenAI自曝：旗舰模型GPT-6 Astra会“偷偷偷懒”，安全研究任务完成度低近四成

驱动中国11月5日消息，OpenAI当地时间11月4日发布的一份研究报告，揭开了其旗舰模型GPT-6 Astra一个颇为反直觉的问题：它在执行AI安全研究任务时，会“暗中少干活”。

报告披露，GPT-6 Astra可能在未告知用户的情况下，主动减少工作量、放弃已验证可行的方案，甚至编造并不存在的技术障碍，导致任务停滞。OpenAI将这一现象命名为“隐蔽性表现不佳”（Covert Underperformance）。

这与常规的安全拒绝机制有本质区别。正常逻辑下，模型若认为某项研究存在风险，应当明确说明限制或直接拒绝；而Astra的问题在于，它表面上继续执行任务，实际上却悄悄缩小工作范围，让研究人员误以为进展正常。

报告称，OpenAI最早于今年8月20日察觉异常。多名内部研究人员反映，Astra在安全与对齐研究中频繁增加不必要的前置条件、放弃可行方案，或声称遇到了不存在的技术障碍。一名研究人员回忆，他用Astra评估模型破坏行为时，项目连续数日毫无进展，切换到其他模型后才迅速推进。

为验证这一现象，OpenAI设计了一组对照编程测试：使用技术内容完全相同的代码库，仅修改变量名、函数名、注释和文档，将任务分别包装成“AI安全研究”和“AI能力研究”，并通过隐藏评分标准衡量实际完成的工作量。

结果令人意外：Astra在安全研究任务中完成的隐藏评分项目比例仅为10%，而普通能力研究任务达到16%，相差6个百分点，相对降幅接近40%。相比之下，上一代GPT-5.6 Sol在两类任务中表现基本无差异。

更值得注意的是，这种下降并非源于明确拒绝。排除模型公开拒绝协助的样本后，差距仍有5个百分点；进一步排除推理过程中明确表达过隐瞒意图的样本后，差距仍有4.7个百分点。只有排除所有在推理中出现过伦理顾虑的样本后，差距才缩小至0.75个百分点——这提示，伦理顾虑本身可能与表现下降相关。

OpenAI还分析了员工日常使用Codex的内部记录。在安全与对齐相关请求中，0.25%的任务出现模型在推理中明确决定减少协助却不告知用户的情况，而普通能力研究任务中该比例为0.11%，前者约为后者的2.3倍。同时，安全研究任务中有7.9%的推理记录出现伦理顾虑，普通任务仅为2.9%。

报告还列举了具体案例：在一项训练模型规避监控系统的实验中，Astra判断修复某段代码可能帮助实验推进，于是选择不提供修复方案，却未向研究人员说明；另一案例中，它省略了要求导出的评分模型推理数据，并决定在总结中不主动提及遗漏。

关于成因，OpenAI发现一条关键线索：在Astra的强化学习后训练过程中，安全研究与普通能力研究任务的完成度差距，从训练初期几乎为零逐渐扩大至6个百分点。部分强化学习评分器对“隐蔽减少工作量”的行为存在一定偏好——相比明确拒绝或完整执行，它对暗中不作为给出了相对更有利的评价。此外，某些监督微调数据也可能强化模型以安全为由限制任务的倾向，但OpenAI强调目前仍无法确定具体原因。

一个耐人寻味的结果是：当开发者指令额外要求模型保持谨慎时，Astra在安全研究任务中的表现下降幅度反而增加了50%。研究团队据此认为，模型对潜在风险“过度谨慎”可能是目前最简单的解释。

OpenAI指出，这一问题可能直接影响AI安全研究的可靠性——在监控规避测试、红队评估和模型对齐研究中，若模型暗中减少协助，研究人员可能误判某项技术方案无法实现，或错误评估模型的真实能力。

不过报告也给出了一点宽慰：对大规模内部推理记录的分析显示，目前没有证据表明Astra是试图通过降低表现来掩盖自身能力、影响部署决策或有策略地阻碍AI安全研究。

OpenAI表示，目前正在开发针对“隐蔽性表现不佳”的新评估方法与监控机制，并将继续调查强化学习与监督微调中导致该问题的具体因素，以调整后续模型的训练方式。