地平线发布LoFT视频几何基础模型 多项指标达SoTA

AI 驱动中国 许棠 512次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

11月18日,地平线机器人实验室发布原生视频几何基础模型LoFT,可从RGB视频联合预测相机位姿、内参及逐帧深度,官方称其在SpatialBench等评测的多项深度估计指标达到SoTA。

驱动中国11月19日消息,11月18日,地平线机器人实验室发布原生视频几何基础模型LoFT。该模型输入RGB视频,可联合预测相机位姿、内参及逐帧深度,并恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

根据官方说明,LoFT围绕连续视频建模设计,核心为双循环Transformer。该结构把跨帧视觉信息聚合与相机状态迭代优化放入同一流程,以提取视频中的时序关联和多视角几何线索。第一循环利用局部与全局时序注意力汇聚跨帧信息,逐步扩展时间感受范围,并借助相邻帧连续性、跨视角几何关联;第二循环对相机位姿和内参进行显式更新,再把更新后的相机状态送回下一轮特征计算。两路特征结合后,模型可预测逐帧深度及置信度,恢复场景可见三维结构。

官方给出的架构图显示,双循环中的LB1用于通用几何特征提取,LB2用于实现Coarse2Fine的几何与姿态估计。

为支撑规模化训练,地平线机器人实验室团队建立了统一的三维重建数据处理与训练平台。该平台纳入约297万条有效训练序列和9.62亿帧图像记录,场景覆盖仿真与真实、动态与静态等类型。平台同时采用统一的数据清洗、质量筛选和采样策略,为模型训练提供数据基础。

官方公布的应用示例包括高频动态场景中的精准空间感知、文字级精细几何重建、驾驶场景中对动态车辆的鲁棒视觉重建,以及复杂生活场景的高精度重建。

评测环节,研究团队将LoFT与VGGT-Ω、DA3-Giant等代表性模型放入SpatialBench、ClassicBench和VRBench三套评测体系比较。其中,SpatialBench包含12个数据集和98个连续视频场景;ClassicBench整合7个经典视频重建基准;VRBench覆盖机器人、自动驾驶及通用视频场景。

官方公布的信息显示,LoFT在多项深度估计指标上达到SoTA。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530095.html
本文价值 ★★★★★ 5 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友