谷歌工程师让打印机运行2.7亿参数模型

AI 驱动中国 苏木 958次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

谷歌DeepMind成员圣塞维耶罗展示实验,将2.7亿参数Gemma 3 270M模型编译为PostScript打印任务,在不改理光打印机固件、不加外部计算板下运行,峰值内存约14.1MB,单个词元输出约60秒。

驱动中国11月20日消息,谷歌DeepMind技术团队成员奥马尔·圣塞维耶罗展示一项实验,在约14.1MB内存条件下让办公激光打印机运行2.7亿参数的Gemma 3 270M模型,单个词元输出耗时约60秒。

圣塞维耶罗于11月17日在X平台发布该实验内容。实验借助谷歌Gemini 4 Carbon模型,将小型Transformer推理引擎与量化后的模型编译为PostScript打印任务。

该实验未修改理光打印机固件,也未加装外部计算板,而是利用打印机内置PostScript解释器执行计算,使原本用于描述打印页面的语言承担模型运行工作。

为适配打印机有限内存,实验没有一次性载入整个模型,而是采用动态层加载方式,轮流将模型各层调入和移出内存,运行时峰值占用约为14.1MB。

性能方面,实验处理速度约为每个词元60秒。计算发生在打印机内部,由打印机CPU执行PostScript程序,再将结果交给打印机输出,模型推理涉及18个Transformer网络层。

预填充阶段处理输入提示“Read the fine”耗时约184秒,解码单个生成词元耗时0.1秒,总计184.1秒。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530281.html
本文价值 ★★★★★ 4 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友