英伟达展示DSX MaxLPS技术 AI工厂每兆瓦token吞吐量提升40%

AI 驱动中国 沈砚 1,087次阅读
分享 Q
AI摘要
由 AI 生成 · 仅供参考

英伟达在AI基础设施峰会展示面向AI工厂的DSX MaxLPS功耗调度系统,该技术可使每兆瓦token吞吐量最高提升40%。目前DSX MaxLPS已由Emerald AI集成至Conductor平台,用于电网条件下的数据中心负载编排。

驱动中国9月17日消息,据外媒Wccftech报道,在近期举行的AI基础设施峰会上,英伟达展示了面向AI工厂的DSX MaxLPS功耗调度系统。该系统可使每兆瓦token吞吐量最高提升40%。

每兆瓦token吞吐量是指数据中心每消耗1 MW电力时,AI系统每秒能够生成或处理的token数量。该指标将功耗纳入计算,适用于衡量AI数据中心在电力受限条件下的产出能力。

英伟达DSX MaxLPS技术已由Emerald AI集成至Conductor平台,用于电网条件下的数据中心负载编排。Conductor AI平台中的DSX Flex可依据电网状态动态调整数据中心用电需求。该平台已接收200次电网状态信号,相关操作均未要求用户干预。

据外媒报道,GPU云服务商Lambda(客户数量超过10,000家)在测试中,于固定功率预算下取得24%的token吞吐量提升。测试集群包含5个机架和19个节点。在与16个节点满功率运行相同的功率预算下,19个节点的集群吞吐量从约每秒400万个token提升至每秒500万个,增幅为24%,每瓦性能提升23%。

英伟达还披露,Vera Rubin和Groq 3 LPX机架在相同站点功耗范围内,GPU数量最多可增加40%。在不新增电力线路的条件下,token吞吐量最多可提升35%。在100K上下文、Qwen 3.8 27B工作负载中,Groq 3 LPX达到每位用户每秒2,529个输出token。

此外,多家人工智能企业已参与早期测试Vera CPU。相关结果显示,Vera CPU性能最高提升1.9倍、吞吐量提升73%、查询任务吞吐量提升3.3倍。

具体测试数据方面,Perplexity测得SPACE安全沙箱启动速度提升1.9倍;DeepInfra测得编排步骤延迟速度提升2.2倍;Redpanda的测试显示,Vera CPU相比其他CPU延迟降低5.5倍,吞吐量提升73%;Starburst测得查询吞吐量提升3倍;Kinetica测得分析查询性能提升2.7倍。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com
本文价值 3 3 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录
我要投稿有独家观点或行业线索?向驱动中国投稿,审核采用后署名发布并获积分奖励。 去投稿 ›

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友