美团龙猫开源LongCat-2.5:1.6万亿参数

AI 驱动中国 沈砚 669次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

美团龙猫在11月9日宣布开源面向长程智能体任务的原生多模态模型LongCat-2.5,采用MIT协议,总参数1.6万亿、支持一百万上下文,并在复杂代码开发、Visual Coding与国产算力适配方面提供优化方案。

驱动中国11月9日消息,美团龙猫宣布正式开源 LongCat-2.5,这是一款面向长程智能体任务的原生多模态模型。

该模型于11月2日发布,采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权。

LongCat-2.5 总参数为1.6万亿,每个 token 激活约480亿参数,并支持一百万上下文。美团龙猫称,其在复杂代码库开发、完整项目构建、Visual Coding 和专业办公场景中,端到端交付能力均有明显提升。

针对显存和带宽受限的国产算力芯片,美团龙猫团队在模型架构、芯片适配与部署策略上进行了深度协同优化。

在 Visual Coding 方面,该模型支持创意设计和3D等任务。其能力提升来自视觉表征层改造:模型将视觉信号表示为多层级离散 token,并与文本一样由主干模型统一处理,而不是采用外挂视觉模块。

具体而言,模型对原生分辨率视觉特征进行残差向量量化,逐级补足细节;视觉 token 可离线预计算并缓存,从而减少在线计算量,并使分布式训练负载更均衡;视觉码本与主干联合训练,视觉与文本共享同一套主干参数,在同一语义空间内协同完成视觉理解与代码生成。

推理侧,LongCat-2.5 采用 W4A4 高效推理方案,将专家权重与激活同时量化到4 bit,并通过原生 INT4 矩阵乘法单元执行计算。

相关资源包括模型开源地址 https://huggingface.co/meituan-longcat/LongCat-2.5、技术博客 https://longcat.ai/blog/longcat-2.5,以及 API 平台 https://longcat.chat/platform/product。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/529198.html
本文价值 ★★★★★ 4 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友