Skip to content

解读particula.tech5 天前

466模型生态拆解:VLA架构收敛至3B甜点区,132条真机适配为何困于Franka ​

基于466个开源模型卡与132条适配记录,揭示VLA向3B参数与Flow Matching收敛的工程必然,以及真机验证高度集中于少数本体的数据孤岛困境。

Franka RoboticsFranka FR3宇树科技宇树 G1松灵机器人松灵 PiPERUniversal RobotsUniversal Robots UR5eπ0 (openpi)pi0_basepi05_baseIsaac GR00T N1.7GR00T-N1.5-3Bsmolvla_baseOpenVLArdt-1bLeRobot

一分钟速览

  • VLA架构收敛: 254个VLA模型中,π0 (openpi)等3.3B-3.6B参数规模成为主流,采用PaliGemma+Flow Matching架构,相比7B离散Token模型更易实现50Hz高频控制与22.5GB显存微调。
  • 真机适配极化: 132条适配记录中,franka-research-3关联56个模型占比42%,而Unitree G1与AgileX Piper各仅18条,反映科研验证对标准臂的路径依赖及人形机器人数据匮乏。
  • 开源许可红利: Apache-2.0协议模型达288个(归一化后Top1),远超CC-BY-NC-SA-4.0(19个),为商业交付扫清法律障碍;但NVIDIA GR00T系列仍受限于Open Model License,早期接入需评估合规风险。
  • 小模型高下载: smolvla_base以450M参数获15.5万次下载,证明消费级硬件部署需求旺盛;其Flow Matching动作头设计使其在单卡训练成本上显著优于7B级OpenVLA。

材料说明

本文所有数据均源自站内2026-10-23快照的466个模型卡、132条模型-机型适配记录及官方技术文档。文中关于显存占用(如22.5GB/72GB)、控制频率(50Hz/10Hz)及参数量(3.3B/7B)均为模型卡声明值或仓库实测配置,非理论推算。关于“工程坑点”的分析基于架构文档中的action_representation字段(flow_matching vs discrete_tokens)与硬件微架构支持列表推导。需注意,部分模型(如GR00T N1.7)标注为early_access阶段,其性能指标可能随版本迭代变化;未明确标注真机测试视频的模型,其泛化能力仅为理论声明。

  • 254 / 466 VLA家族模型数量,占总数54.5%,确立视觉-语言-动作范式的主流地位
  • 56 / 132 Franka Research 3关联模型数,占真机适配记录42.4%,呈现极端头部效应
  • 3.3B π0 (openpi)总参数量,由3B VLM与300M动作专家组成,定义当前VLA参数甜点区
  • 22.5GB π0微调显存需求,对比OpenVLA的72GB,降低3倍门槛使单卡微调成为可能

VLA架构收敛:从7B离散Token到3B Flow Matching的工程必然 ​

在466个开源具身模型中,VLA家族以254个的数量占据绝对主导,但其内部架构正经历剧烈的代际切换。早期以OpenVLA为代表的7B模型,采用Llama 2主干配合离散动作Token(每维256 bins),虽然语义理解强,但在工程落地时遭遇双重瓶颈:一是控制频率被锁死在10Hz,难以满足精密装配等高频任务;二是微调显存高达72GB,迫使开发者必须使用多卡A100集群。

相比之下,以π0 (openpi)和lerobot-pi05-base为代表的新一代架构,将参数规模收敛至3.3B-3.6B区间,并引入Flow Matching连续动作专家。这种“大VLM+小动作头”的解耦设计带来了三重工程红利:

维度OpenVLA (7B)π0 / π0.5 (3.3B-3.6B)工程影响
动作表示离散Token (256 bins)Flow Matching 连续轨迹消除量化误差,支持50Hz平滑控制
微调显存72 GB22.5 GB单张RTX 4090/A6000即可全量微调
预训练数据OXE 970k轨迹OXE + ALOHA/DROID >10k小时补充真机遥操数据,弥合Sim-to-Real鸿沟
推理延迟高(自回归生成)低(并行去噪/直接回归)满足实时闭环控制时序约束

从控制论视角看,Flow Matching通过建模动作概率密度的向量场,避免了离散Token自回归生成的累积误差与低频抖动。300M参数的动作专家模块专门负责高频动力学映射,使得3B VLM只需处理低频语义与场景理解,这种分工是50Hz控制频率得以实现的根本原因。对于工程师而言,选择3B级Flow Matching架构不仅是跟随趋势,更是为了在有限算力下获得可用的实时控制性能。

<RankBars unit="Likes (♥)" note="数据来源:站内收录的 Hugging Face 具身模型社区点赞数 Top 10。" :items='[{"label": "smolvla_base (450M)", "value": 474, "group": "VLA"}, {"label": "Alpamayo-R1-10B (11.1B)", "value": 442, "group": "OTHER"}, {"label": "Magma-8B (8.9B)", "value": 423, "group": "OTHER"}, {"label": "GR00T-N1-2B (2.2B)", "value": 359, "group": "VLA"}, {"label": "pi0_old (3.5B)", "value": 310, "group": "VLA"}, {"label": "openvla-7b (7.5B)", "value": 263, "group": "VLA"}, {"label": "GR00T-N1.5-3B (2.7B)", "value": 199, "group": "VLA"}, {"label": "MiniCPM-RobotManip (1.5B)", "value": 191, "group": "VLA"}, {"label": "GR00T-N1.7-3B (3.1B)", "value": 164, "group": "VLA"}, {"label": "flux-3-action-base (world_model)", "value": 154, "group": "WORLD_MODEL"}]' />

132条真机适配真相:Franka垄断与本体鸿沟的结构性成因 ​

尽管开源模型数量庞大,但132条真机适配记录揭示了残酷的“验证偏科”现象。franka-research-3以56条关联记录独占42.4%的份额,远超Unitree G1(18条)和AgileX Piper(18条)。这种集中并非因为Franka性能最优,而是由其作为“学术标准接口”的历史地位决定的:OXE等主流数据集中Franka轨迹占比最高,且其ROS/MoveIt驱动栈最为成熟,导致新模型发布时优先在该平台上验证以获取基准分数。

然而,当开发者试图将模型迁移至人形或国产机械臂时,会遭遇严重的“本体鸿沟”。以rdt-1b为例,尽管其宣称支持统一动作空间,但文档明确指出“不能泛化到预训练数据集中未见过的新机器人平台”。这是因为不同本体的关节限位、减速比、末端执行器开合范围存在物理差异,简单的动作重映射无法解决动力学不一致问题。

机型关联模型数典型适配模型适配难点与现状
franka-research-356π0, OpenVLA, RDT-1B数据丰富,驱动完善,零样本迁移成功率最高
unitree-g118GR00T N1.5, π0.5人形双足平衡耦合,需额外全身控制层,数据稀缺
agilex-piper18SmolVLA, ACT轻量级臂,运动学简单,但缺乏大规模预训练数据
universal-robots-ur5e11Diffusion Policy工业臂精度高但速度受限,安全策略限制高频探索

对于Unitree G1等人形机器人,仅有18条适配记录反映出社区仍在攻克“移动底盘+双臂协调”的复合控制难题。NVIDIA GR00T-N1.5-3B虽针对人形优化,但其依赖Eagle视觉模块与DiT动作头,对硬件微架构(Ampere/Blackwell)有特定要求,进一步限制了在非NVIDIA平台上的快速验证。工程师在选型时必须清醒认识到:模型卡在Franka上的SOTA表现,不等于在你的目标本体上能开箱即用,预留2-4周的本体适配与数据采集时间是必要的工程缓冲。

显存、带宽与控制频率:数字反差背后的硬件约束 ​

模型卡中的数字并非孤立存在,而是硬件物理极限的投影。π0 (openpi)宣称50Hz控制频率与22.5GB微调显存,这两个数字共同定义了消费级显卡(如RTX 4090)的可用边界。50Hz意味着单次前向推理必须在20ms内完成,这要求模型不仅参数少,还需算子高度优化;22.5GB显存则刚好塞入24GB显存的4090,留出1.5GB给KV Cache与中间激活值,这是经过精心计算的“显存甜点”。

反观OpenVLA,72GB微调显存意味着必须使用A100 80GB或双卡4090,且其10Hz控制频率受限于7B参数自回归解码的串行特性。即使强行量化压缩显存,推理延迟也无法突破50Hz门槛。对于NVIDIA Isaac GR00T N1.7,40GB微调显存与50Hz控制的组合,暗示其采用了更激进的算子融合或FlashAttention优化,但代价是对NVIDIA GPU架构的强绑定(支持Ampere/Blackwell/Hopper/Lovelace)。

此外,smolvla_base以450M参数获得15.5万次下载,印证了边缘部署的巨大需求。其SmolVLM2+Flow Matching架构专为单卡训练设计,在Jetson Orin等嵌入式平台上可实现实时推理。工程师在评估模型时,不应只看任务成功率,更要计算“每赫兹控制所需的显存字节数”与“每瓦特算力输出的动作精度”,这些隐性指标决定了系统能否在真实产品中稳定运行。

开源协议光谱:Apache-2.0主导下的商业交付安全区 ​

在466个模型中,Apache-2.0协议以288个(归一化后)占据压倒性优势,MIT协议68个紧随其后,两者合计覆盖了绝大多数VLA与Policy模型。这意味着开发者可以合法地将π0 (openpi)、rdt-1b及LeRobot生态用于商业产品,无需担心传染性条款或非商用限制。

然而,仍有部分关键模型处于“灰色地带”或明确受限。OpenVLA继承Llama 2 Community License,对月活超7亿的公司需单独申请授权;NVIDIA GR00T系列采用NVIDIA Open Model License,明确禁止商业使用,仅限研究;lerobot-pi0-base与lerobot-pi05-base权重遵循Gemma协议,虽允许商用但有使用限制与归属要求。CC-BY-NC-SA-4.0(19个)与CC-BY-NC-4.0(4个)协议模型则完全排除商业用途。

对于企业用户,建议建立三级许可白名单:一级(Apache-2.0/MIT)可直接集成;二级(Gemma/Llama)需法务审核使用场景与规模;三级(NC/NVIDIA Open)仅限内部研发验证,严禁进入交付代码库。特别注意,即使代码开源为Apache-2.0,权重可能采用不同协议(如GR00T N1.7代码Apache-2.0但权重NVIDIA Open),务必分别核验code_license与weights_license字段,避免合规暴雷。

从下载到真机:跨越15万热度与18条适配之间的工程深渊 ​

smolvla_base的15.5万次下载与Unitree G1仅18条适配记录形成鲜明对比,揭示了“社区热度≠真机可用性”的残酷现实。高下载量反映的是低门槛试错意愿,而真机适配记录代表的是完成硬件集成、数据采集、微调验证的全链路投入。许多模型在仿真或标准数据集上表现优异,但一旦接入真实传感器与电机,便暴露出时序对齐、标定误差、安全限速等工程问题。

例如,rdt-1b虽支持统一动作空间,但文档强调“embodiment gap”导致无法零样本迁移至新本体,必须采集目标机器人小数据集微调。这意味着即使你下载了权重,仍需花费数周构建专属数据集。而π0.5虽定位为开放世界泛化基础模型,但当前LeRobot版本仅包含flow-matching action head,子任务预测与RL组件缺失,限制了其在长程复杂任务中的实际表现。

工程师应建立“适配成熟度”评估框架:不仅看模型卡参数,更要查关联真机型号数量、是否有对应本体的微调脚本、社区Issue中关于硬件集成的讨论密度。对于仅有仿真验证或单一本体适配的模型,应视为“研究原型”而非“生产就绪组件”,在项目规划中预留充足的二次开发资源。

已经验证与覆盖的事实

  • 3B VLA高频可控: π0/π0.5架构已验证在22.5GB显存下实现50Hz Flow Matching控制,单卡微调可行。
  • Apache-2.0商用安全: 288个模型采用Apache-2.0,覆盖主流VLA与Policy,商业交付法律风险低。
  • Franka零样本迁移: 56个模型适配Franka Research 3,OXE数据支撑下开箱即用成功率最高。
  • SmolVLA边缘部署: 450M参数模型下载15.5万次,证实消费级硬件实时推理路径已跑通。

尚未证明或需警惕的工程边界

  • 人形本体适配稀缺: Unitree G1仅18条适配,缺乏大规模预训练数据,全身控制仍需大量定制开发。
  • 跨本体零样本失败: RDT-1B等模型明确声明无法泛化至未见本体,统一动作空间不解决动力学差异。
  • GR00T商用受限: NVIDIA GR00T系列权重禁止商用,且依赖特定GPU微架构,非NVIDIA平台部署困难。
  • π0.5功能不完整: LeRobot版π0.5缺失子任务预测与RL组件,长程任务能力弱于论文声明。

上手卡 · VLA选型、显存预算与真机适配清单

  • 首选3B Flow Matching: 新项目优先选π0/π0.5架构,兼顾50Hz控制与单卡微调,避免7B离散Token的时序瓶颈。
  • 显存预算硬约束: 微调π0需≥24GB显存(推荐4090/A6000),GR00T N1.7需≥40GB,OpenVLA需≥80GB A100。
  • 本体适配优先级: 若用Franka可直接复用56个模型;若用人形/国产臂,必留2-4周数据采集与微调周期。
  • 许可双重核验: 分别检查code_license与weights_license,GR00T/OpenVLA需法务审核,NC协议禁商用。

带走一句

VLA已进入3B Flow Matching工程化甜点期,但真机验证仍困于Franka孤岛,跨本体适配是下一战场。

本站说明

  • 所有模型数量、适配记录、下载量等统计数据均来自站内2026-10-23快照,归一化处理已去除重复条目与测试账号。
  • 显存需求(finetune_vram_gb)为模型卡声明的全量微调峰值,实际使用gradient_checkpointing或LoRA可降低30%-50%。
  • 控制频率(control_hz)为模型设计上限,实际部署受硬件推理速度、通信延迟与安全策略限制,通常低于标称值。

来源

本页事实对应的公开页面,以原文为准。

  1. OpenVLA vs π0 vs SmolVLA vs GR00T N1访问 2026-10-10
  2. Hugging Face lerobot/pi0_base访问 2026-10-21