PrismML发布Bonsai 2 27B:1/9内存保留98.2%性能

AI 驱动中国 叶舟 6,134次阅读 19 条评论
分享 Q
AI摘要
由 AI 生成 · 仅供参考

人工智能实验室PrismML推出三值量化模型Bonsai 2 27B,基于Qwen3.8 27B升级,以不到1/9内存占用实现98.2%性能,支持本地知识工作。

驱动中国9月18日消息,人工智能实验室 PrismML 近日正式发布了 Bonsai 2 27B 模型。该模型采用三值量化技术,在内存占用大幅降低的同时,保留了基础模型 Qwen3.8 27B 98.2% 的性能表现。

PrismML 此前曾推出微调模型 Bonsai 27B,该版本基于 Qwen3.6 27B 基础模型,以显著更低的内存占用实现了基础模型 95% 的性能。此次发布的 Bonsai 2 27B 将基础模型升级至 Qwen3.8 27B,在推理、编程、视觉及长程智能体性能方面均有提升。

在综合基准测试中,Bonsai 2 27B 以不到 1/9 的内存占用获得了基础模型 98.2% 的分数。其整体表现优于上一代基于 Qwen3.6 27B 的模型。PrismML 表示,Bonsai 2 27B 具备在本地执行编程智能体循环、计算机使用工作流、私有文档解析、多模态调试及混合编排等知识工作的能力,仅在必要时调用云端 API。

技术细节方面,Bonsai 2 27B 采用 FP16 分组缩放进行三值量化,每个权重的有效比特数为 1.76,模型总大小为 5.9GB,支持 262K 上下文窗口。在 NVIDIA GeForce RTX 5090 上,该模型的词元吞吐量达到 143TPS;在 Apple Silicon M5 Max 上,吞吐量可达 46.8TPS。

能效数据显示,Bonsai 2 27B 在 GeForce RTX 4090 上的能效为 0.714mWh / Token,比全精度 8B 模型低 40%。该模型支持通过 CUDA 在 NVIDIA GPU 上运行,也可通过 MLX 在 Apple 设备上运行。PrismML 以 Apache 2.0 许可证开放了该模型的权重。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com
本文价值 4.1 49 人已评
登录后为本文打分
网友评论19 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录
我要投稿有独家观点或行业线索?向驱动中国投稿,审核采用后署名发布并获积分奖励。 去投稿 ›

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友