新闻IT之家15 天前
苹果开源HALO人形机器人系统:宇树G1端侧部署VLM实测成功率91%
本文由 AI 根据公开内容整理,可能有误,请以原文为准:苹果披露人形机器人 HALO 系统:6 个未建图环境测试 360 次单项任务,平均成功率 91%(IT之家)
核心内容
苹果研究团队发布人形机器人自主控制系统HALO论文并开源数据生成、模型训练及部署代码。该系统在6个未预先建图的真实环境中执行360次单项任务,平均成功率达91%;针对长序列复合任务,3种组合平均成功率为70%,最复杂的“俯身过障-走向目标-推箱子”任务成功率为50%。训练阶段使用250张H100 GPU耗时48小时合成数据,动作生成器与跟踪器分别采用64张B200和4张H100进行模仿学习与强化学习训练。
HALO采用三层协同架构:上层Orchestrator基于Qwen3.6-35B-A3B VLM负责任务编排,中层Motion Generator采用Qwen3.5-2B生成动作,底层Tracker以50Hz运行RL策略网络。硬件基于宇树G1人形机器人,背部加装3D打印外壳内置M4 Pro芯片Mac mini(64GB统一内存)承担VLM与DiT实时推理,G1自带板载芯片专注高频运动控制。目前系统主要依赖视觉感知,缺乏触觉反馈导致接触类任务在遮挡时性能下降,后续将引入触觉传感改进。
关键看点
- 端侧算力方案:采用M4 Pro Mac mini(64GB统一内存)机载部署,独立承担VLM与DiT高开销推理,G1板载芯片仅负责50Hz RL策略跟踪
- 分层模型架构:上层Qwen3.6-35B-A3B VLM编排任务,中层Qwen3.5-2B生成动作,底层RL策略经蒸馏后以50Hz频率运行
- 真机实测指标:6个未建图环境360次单项任务平均成功率91%,长序列复合任务平均成功率70%,复杂操作任务成功率50%
- 训练资源规格:250张H100耗时48h合成数据,64张B200训练动作生成器,4张H100完成RL策略蒸馏与跟踪器训练
工程与产业观察
苹果HALO验证了消费级SoC(M4 Pro)支撑端侧VLM+DiT具身推理的工程可行性,为摆脱云端依赖提供实测基准。其开源的全栈Sim-to-Real代码与分层架构设计,降低了人形机器人算法复现门槛。但纯视觉感知在接触任务中的局限性,也再次印证了多模态触觉融合是下一阶段具身智能落地的关键瓶颈。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)