Anthropic公布AI研发自动化指数:Claude主导26%内部研发工作

AI 驱动中国 陆离 5,684次阅读 10 条评论
分享 Q
AI摘要
由 AI 生成 · 仅供参考

Anthropic发布衡量前沿AI研发进度的指标体系,数据显示其Claude模型已主导公司约26%的AI研发工作。该体系涵盖AI参与度、智能体监督及算力分配三大维度,旨在通过量化指标直观呈现AI在下一代系统开发中的介入程度及自动化水平。

驱动中国9月18日消息,Anthropic发布了一套用于衡量前沿AI实验室研发进度的评估方法,并公布了公司内部的阶段性数据。该体系主要关注三项核心指标:AI参与AI研发的程度、AI智能体的监督情况,以及算力在AI研发与安全研究之间的分配。Anthropic表示,随着AI能力的提升,AI正在越来越多地参与下一代AI系统的研发,公开这些指标旨在让公众、第三方机构和政府更直观地了解前沿AI研发的推进速度。

在AI参与AI研发方面,Anthropic提出了“Anthropic研发自动化指数”,用于衡量Claude参与公司AI研发工作的程度。该指标采用Epoch AI提出的自动化等级体系,从AL0到AL5,分别对应没有AI参与、AI辅助、AI协作、AI主导以及完全自主运行。这一体系类似于汽车的自动驾驶评判等级,其中AL5指AI完全自主运行且无需人类介入,AL4指AI可依据高层提示完成大部分任务,人类仅负责监督。

数据显示,截至2026年8月,Claude未在任何被测量的AI研发工作中实现“完全自主运行”,但已经“主导”Anthropic约26%的AI研发工作。同时,处于“AI协作”及更高等级的工作占比已经超过90%。Anthropic披露,这一比例在2026年2月还不到1%。该公司认为,这类指标有助于观察AI研发自动化程度是否持续提高,以及距离“递归自我改进”——即AI能够完全自主开发下一代AI——还有多远。

为建立这一指标,Anthropic从2026年7月的内部工作记录、Slack及其他文档中抽样整理出约1.5万个模型研发任务,并将其归纳为542个不同层级的任务节点,其中378个属于最细分的任务类别。随后由Claude研究这些任务的执行方式及AI参与程度,并由独立的Claude评估模型进行自动化等级判断。

在AI智能体监督方面,Anthropic建立了实时监控与事后监控机制。实时监控系统会在智能体执行操作前检查行为,并在发现危险操作时进行拦截或调整。对2026年8月超过10亿次智能体决策的分析显示,约0.002%的操作被该系统拦截,相当于约每4.7万次操作出现1次拦截。事后监控系统则会分析智能体已经完成的操作,每周约标记10万份对话记录进行进一步检查,其中优先级最高的约50份会升级至人工审核。此外,约千分之一至千分之二的智能体活动会被标记为需要进一步审查。

在算力分配方面,Anthropic统计了2026年7月13日至7月20日期间的算力使用情况。数据显示,该公司用于AI研发的算力中约6%投入安全研究;如果仅统计基于AI的AI研发工作,其安全研究算力占比约12%。Anthropic强调,上述算力比例是较为保守的估计,因为同时促进模型能力和安全性的工作没有被计入安全研究,且该统计也没有计算用于安全分类器的另一部分算力。公司指出,安全研究通常并不需要像前沿模型训练那样消耗大量算力,因此算力占比不能直接代表安全工作的整体投入程度。

Anthropic指出,这些指标目前仍属于原型测量体系,跨实验室比较还面临统一方法和独立验证等问题。公司计划引入来自多个组织的独立第三方评估人员,让其获得与内部风险评估团队相近的流程、系统和数据访问权限。此前,Anthropic CEO达里奥·阿莫代伊曾呼吁协调放缓前沿AI发展,若出现协调,相关数字预计会变化。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com
本文价值 4.3 23 人已评
登录后为本文打分
网友评论10 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录
我要投稿有独家观点或行业线索?向驱动中国投稿,审核采用后署名发布并获积分奖励。 去投稿 ›

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友