外观
新闻MarkTechPost(RSS)(via AIHOT)10 天前
Kyutai开源2.4B VLA模型REKI:寄存器记忆实现21.8ms推理与90.4%成功率
本文由 AI 根据公开内容整理,可能有误,请以原文为准:Meet Kyutai REKI: The 2.4B VLA Model Bringing Efficient Memory to Robot Manipulation(MarkTechPost(RSS)(via AIHOT))
核心内容
Kyutai联合Inria与École des Ponts发布面向机器人操作的2.4B视觉-语言-动作模型REKI,权重已在Hugging Face以CC BY-NC-SA 4.0协议开放。该模型仅使用公开数据集预训练,在LIBERO-Plus基准测试中取得90.4%成功率,超越Qwen-RobotManip(89.0%)与π0.5(85.7%),且在RoboTwin Clean2Rand等OOD场景下表现优于多数同级模型,验证了非私有数据训练VLA的有效性。
REKI由2.2B Qwen3.5-2B VLM骨干与0.2B Flow-matching动作专家组成,核心创新是在动作专家内嵌32个可学习寄存器Token作为记忆单元,覆盖过去3帧观测且独立于动作生成。该机制使缓存读取仅增加0.1ms延迟,单帧显存占用约2MiB,在NVIDIA H100上编译后动作块推理耗时仅21.8ms。实测显示记忆模块将感知别名导致的振荡失败率从18.6%降至4.1%,并支持通过LeRobot异步gRPC协议在UR5机械臂上以50条演示微调3k步完成新任务适配。
关键看点
- 寄存器记忆架构:动作专家内置32个可学习Token编码历史3帧观测,缓存读取仅增0.1ms延迟,显存占用2MiB/帧,解决感知别名导致的18.6%振荡问题
- 极致推理性能:2.4B参数模型在H100上编译后动作块生成耗时21.8ms,显著快于π0.5的33.8ms与ABot-M0的46.1ms,满足高频实时控制需求
- 纯公开数据SOTA:仅用公开混合数据预训练,LIBERO-Plus成功率达90.4%,RoboTwin Clean2Rand达65.8%,验证非私有数据VLA模型性能上限
- 低成本迁移部署:基于LeRobot gRPC协议集成,UR5真机适配仅需50条演示微调3000步即1小时,提供6个官方检查点覆盖主流仿真与真机场景
工程与产业观察
REKI证明2B级VLA通过架构创新可在公开数据上逼近大模型性能,其寄存器记忆机制为端侧低延迟具身智能提供了可复用工程范式。21.8ms推理耗时与1小时快速微调能力,显著降低了中小团队验证操作算法的算力与数据门槛,对推动VLA从仿真走向真机部署具有重要参考价值。
线索来源:AIHOT
来源
本页事实对应的公开页面,以原文为准。