谷歌工程师让打印机运行2.7亿参数模型
AI摘要
由 AI 生成 · 仅供参考
谷歌DeepMind成员圣塞维耶罗展示实验,将2.7亿参数Gemma 3 270M模型编译为PostScript打印任务,在不改理光打印机固件、不加外部计算板下运行,峰值内存约14.1MB,单个词元输出约60秒。
驱动中国11月20日消息,谷歌DeepMind技术团队成员奥马尔·圣塞维耶罗展示一项实验,在约14.1MB内存条件下让办公激光打印机运行2.7亿参数的Gemma 3 270M模型,单个词元输出耗时约60秒。
圣塞维耶罗于11月17日在X平台发布该实验内容。实验借助谷歌Gemini 4 Carbon模型,将小型Transformer推理引擎与量化后的模型编译为PostScript打印任务。
该实验未修改理光打印机固件,也未加装外部计算板,而是利用打印机内置PostScript解释器执行计算,使原本用于描述打印页面的语言承担模型运行工作。
为适配打印机有限内存,实验没有一次性载入整个模型,而是采用动态层加载方式,轮流将模型各层调入和移出内存,运行时峰值占用约为14.1MB。
性能方面,实验处理速度约为每个词元60秒。计算发生在打印机内部,由打印机CPU执行PostScript程序,再将结果交给打印机输出,模型推理涉及18个Transformer网络层。
预填充阶段处理输入提示“Read the fine”耗时约184秒,解码单个生成词元耗时0.1秒,总计184.1秒。
版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系
editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530281.html
本文价值
★★★★★
4
1 人已评
登录后为本文打分
评论加载中…