商汤发布Loop-9B模型 显存需求低至10GB内

AI 驱动中国 沈砚 1,126次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

商汤科技11月17日晚间发布SenseNova Loop-9B模型,该模型以约9B参数规模面向复杂推理、代码、工具调用和多模态任务,官方称4bit量化后权重约4.9GB,部署显存需求可低至10GB内,并已开放权重与相关代码。

驱动中国11月17日消息,商汤科技17日晚间发布SenseNova Loop-9B模型。该模型延续Preview版本对参数效率的探索,通过Loop结构复用模型层参数,并结合流形约束超连接mHC,在约9B参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务。

官方表示,SenseNova Loop-9B总参数量约为9B。模型通过两次执行共享中间层,将32个物理解码层扩展为56次层计算。该模型支持文本、图像输入和文本输出,上下文长度最高可达512K tokens。

在部署方面,官方称该模型采用4bit量化后权重约4.9GB,部署显存需求可低至10GB内,有助于拓宽可部署硬件范围,使低显存芯片获得前沿27B级别模型性能成为可能。

官方还提到,采用4bit权重量化与8bit KV缓存时,256K长上下文推理显存需求约为15 GiB,可降低本地与私有化部署门槛。

技术细节上,共享循环模块将第4至27层组成共享权重循环模块,并执行两次,使模型在一次前向传播中完成56次解码器层计算。双流mHC通过可学习映射,对循环模块中两条残差流进行信息路由与融合。混合注意力以四层为一组,采用三层线性注意力与一层全注意力结合的配置。长上下文多模态训练方案覆盖文本、图像、代码和工具调用轨迹,上下文长度最高扩展至512K tokens。

官方表示,在Agent与数据分析评测中,SenseNova Loop-9B展现出与Qwen3.8-27B相当的竞争力:NL2Repo得分为41.36,接近后者的44.60;AIDABench得分为65.31,高于后者的65.01。围绕通用Agent、代码和数据分析等任务,正式版在多个榜单上的表现较Preview版本有明显提升。

此外,商汤科技在模型发布首日同步提供官方AWQ 4bit量化版本,并已开放SenseNova Loop-9B模型权重与相关代码,供开发者和研究者下载、部署与探索。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/529935.html
本文价值 ★★★★★ 3.3 3 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友