Skip to content

踩坑GitHub huggingface/lerobot11 天前

LeRobot采集异常致Parquet footer损坏报错ArrowInvalid ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:数据集收集时电脑故障被中断了,想删除损坏文件,继续采集数据集(GitHub huggingface/lerobot #3522)

状态:有绕过办法

问题 ​

使用 lerobot-record 加载数据集时,因电脑故障中断导致 Parquet 文件不完整。pyarrow 读取时报错 pyarrow.lib.ArrowInvalid: Could not open Parquet input source '<Buffer>': Parquet magic bytes not found in footer,提示文件损坏或非 Parquet 格式,无法继续采集。

环境 ​

SO-100 机械臂,Ubuntu 24.04,Python 3.10 (Anaconda lerobot1 环境),huggingface/lerobot 框架。

解决办法 ​

  1. 安装诊断工具:执行 pip install lerobot-doctor。
  2. 运行检测命令:执行 lerobot-doctor /path/to/your/dataset,该工具会自动检查时间戳、数据文件缺失、帧索引断裂、Episode 计数不匹配及元数据不一致等问题。
  3. 根据工具输出的具体损坏 Episode 或文件列表,手动删除对应损坏文件;若仅 Footer 损坏且数据量小,可尝试修复或直接重新采集该组数据。
  4. 清理完成后重新运行 lerobot-record 验证数据集加载是否正常。

讨论原作者:@le2222 等,版权归原作者所有。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. GitHub huggingface/lerobot #3522:数据集收集时电脑故障被中断了,想删除损坏文件,继续采集数据集 ↗访问 2026-11-11