METR更新AI能力图:编码进步快判断仍弱

AI 驱动中国 纪行 963次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

据麻省理工科技评论报道,AI评估机构METR更新其被广泛误读的“时间跨度”能力图,显示前沿模型在编码等可验证任务上仍呈指数进步,但在设计评估、哲学论证等需要判断的开放式任务上不及人类,凸显AI自动化研发进展仍受评估与强化学习边界制约。

驱动中国11月21日消息,据麻省理工科技评论报道,人工智能评估非营利机构METR发布新报告,对其此前引发广泛讨论的“时间跨度图”进行了重要更新。报告一方面显示,部分AI能力仍沿指数轨迹提升;另一方面也表明,在需要判断力的任务上,模型表现不如编码等可验证任务,这为外界理解AI进展提供了更细化的参照。

METR此前发布的“时间跨度图”用于衡量模型能够完成多长人类任务。其评估方式是将模型放入大量任务中,这些任务此前已由人类测试者完成;任务难度以人类完成耗时作为标尺,模型则根据其能够成功完成的任务长度获得评级。该图曾显示,前沿模型能够完成的任务长度大约每四个月翻一倍。不过,由于指标较为复杂,这张图也常被误读。

此次更新加入了更多任务,其中一些任务预计需要人类花费远超原有任务套件的时间,另一些则更加开放。报告关注的核心问题是:在可以自动判断成功或失败的“可验证任务”上取得的进展,能否迁移到成功标准更模糊、验证周期更长的任务中。对于可验证任务,研究者通常可以让系统反复尝试,强化导致成功的神经通路、削弱导致失败的路径;这也是当前AI系统在编码和数学等领域表现突出的原因。

相比之下,强化学习更难应用于成功定义不清晰、或需要较长时间才能确认结果的任务,例如选择新的研究方向。由于这类任务难以评估,METR最初的时间跨度图并未纳入相关内容。报告指出,恰恰是这类开放判断任务,如果AI系统希望自动化开展研发工作,将变得至关重要。

这一判断也处在当前AI研发讨论升温的背景下。本月早些时候,METR曾发布另一份经过大量删节的报告,称AI可能使Anthropic推进AI进展的速度提高两倍。该说法引发部分担忧,认为刚刚完成大规模IPO的Anthropic可能很快走向“完全递归自我改进”,即AI系统在没有人类参与的情况下自主设计后续系统。

为了让评估更接近AI研发自动化场景,METR研究人员在新任务套件中加入更模糊、更依赖判断的任务。其中一项要求模型设计新的AI评估方案,再由METR人类员工判断其是否可用于研究。尽管当前最先进模型在软件工程方面已几乎超过所有人类,但在这项任务上未能达标:没有一个由AI设计的评估被认为足以满足METR员工的研究使用需求。

另一项任务要求模型对哲学论点进行评分,用以观察模型能否展现良好判断力。METR在报告中提到,其内部员工对这项任务与AI研发自动化之间的相关性存在分歧。不过,在这项任务中,模型表现同样低于人类。

尽管这些新任务本身难以打分,甚至更难解释分数含义,受访专家仍认可METR尝试扩展评估类型。计算机科学家、即将赴任加州大学伯克利分校教授的Sayash Kapoor表示,AI评估现在已经需要更具创造力。随着可验证任务之外的开放式任务被纳入,METR试图覆盖AI研发自动化中更难衡量的判断环节;但报告中的结果显示,模型在这些任务上尚未达到人类水平。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530362.html
本文价值 ★★★★★ 4 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友