新闻IT之家3 天前
地平线发布LoFT视频几何模型,9.6亿帧数据训练达SoTA
本文由 AI 根据公开内容整理,可能有误,请以原文为准:地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA(IT之家)
核心内容
地平线机器人实验室正式发布原生视频几何基础模型LoFT(Looped Foundation Transformer for Video Geometry),旨在解决机器人空间感知与环境理解难题。该模型能从RGB视频中联合预测相机位姿、内参及逐帧深度以恢复三维结构。为支撑规模化训练,团队构建了统一三维重建平台,包含约297万条有效序列及9.62亿帧图像,覆盖仿真与真实、动静态多样化场景,并在SpatialBench、ClassicBench和VRBench三套评测体系中多项深度估计指标达到SoTA水平。
LoFT采用原生双循环Transformer架构:第一循环通过局部与全局时序注意力聚合跨帧信息,利用相邻帧连续性与跨视角几何关联扩大感受野;第二循环显式更新相机位姿与内参并反馈至特征计算,结合双循环特征预测逐帧深度及置信度。该方案实现了Coarse2Fine几何与姿态估计,适用于机器人第一人称视频、动态街道、室内操作及开放环境探索,能在高频动态场景下实现精准空间感知与文字级精细几何重建。
关键看点
- 双循环架构:LB1提取通用几何特征,LB2实现Coarse2Fine估计,显式迭代优化相机状态
- 海量数据基座:整合297万条有效序列与9.62亿帧图像,统一清洗筛选策略支撑规模化训练
- 多维基准SOTA:在SpatialBench等三大评测体系胜出,覆盖12个数据集及98个连续视频场景
- 具身感知落地:支持第一人称视频与动态场景三维重建,恢复相机轨迹与可见三维结构
工程与产业观察
LoFT验证了原生视频几何建模在具身智能中的有效性。其双循环架构将时序关联与几何约束深度融合,配合近10亿帧级数据规模,显著提升了纯视觉方案在动态复杂环境下的三维恢复精度。这为机器人摆脱对LiDAR依赖、实现低成本端到端空间理解提供了新的算法范式与数据工程参考。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)
- IT之家:地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA ↗访问 2026-11-19