谷歌开源TorchTPU 推进PyTorch适配TPU
谷歌开源面向TPU的原生PyTorch框架TorchTPU,开发者无需重写代码即可将应用迁移至TPU和谷歌云;此前亚马逊推出TorchNeuron,双方正推动PyTorch与英伟达GPU解耦,试图改变AI芯片生态格局。
驱动中国10月21日消息,谷歌于当地时间周二宣布,面向谷歌TPU的原生PyTorch框架TorchTPU已在GitHub开源。该框架允许开发者在无需重写应用代码的情况下,将现有PyTorch应用迁移到TPU和谷歌云。谷歌与亚马逊正尝试打破英伟达在AI行业的垄断地位,当前多数AI应用默认基于英伟达GPU开发运行。
PyTorch是开发者用于搭建、训练和部署AI模型的开源工具库。相关统计显示,85%的AI应用使用PyTorch。该工具最初由Meta于2016年开发,当时人们尚未意识到大语言模型将改变世界。由于英伟达GPU已是AI研究标准硬件,PyTorch多项功能围绕适配英伟达GPU构建。2022年,Meta将PyTorch移交Linux基金会管理。
谷歌表示,TorchTPU可让AI应用在谷歌自研张量处理单元(TPU)上运行,并支持将现有PyTorch应用迁移到TPU及谷歌云。开发者只需修改配置,不必重写代码。
当地时间周一,亚马逊发布类似进展,推出面向自研芯片Trainium和亚马逊云(AWS)的PyTorch版本TorchNeuron。亚马逊称,TorchNeuron可在不重写代码的前提下迁移AI应用。亚马逊还表示,将进一步削弱英伟达对PyTorch的掌控力,并正在向PyTorch主项目提交代码,推动功能与英伟达芯片解耦,使PyTorch原生兼容各类硬件。
IT之家注意到,谷歌在部分层面的举措力度或许超过亚马逊。谷歌称,已与Meta、Hugging Face、英菲拉克特(Inferact,vLLM开发方)、拉迪克斯阿克(RadixArk,SGLang开发方)等多方合作,保障TorchTPU功能与代码库能够像原版PyTorch一样,与上述主流AI开发工具良好兼容。
谷歌还推出TPU智能体套件,协助开发者将应用迁移到谷歌芯片与云平台,并在迁移过程中排查修复错误。谷歌同时升级LiteRT,该工具用于在手机、笔记本电脑和嵌入式设备上运行AI模型,升级后对基于PyTorch开发的AI应用支持更好。
上述进展并不意味着开发者会仅因迁移便利而集体放弃英伟达硬件。但亚马逊和谷歌正努力终结英伟达的优势地位。