踩坑GitHub huggingface/lerobot11 天前
LeRobot采集异常致Parquet footer损坏报错ArrowInvalid
本文由 AI 根据公开内容整理,可能有误,请以原文为准:数据集收集时电脑故障被中断了,想删除损坏文件,继续采集数据集(GitHub huggingface/lerobot #3522)
状态:有绕过办法
问题
使用 lerobot-record 加载数据集时,因电脑故障中断导致 Parquet 文件不完整。pyarrow 读取时报错 pyarrow.lib.ArrowInvalid: Could not open Parquet input source '<Buffer>': Parquet magic bytes not found in footer,提示文件损坏或非 Parquet 格式,无法继续采集。
环境
SO-100 机械臂,Ubuntu 24.04,Python 3.10 (Anaconda lerobot1 环境),huggingface/lerobot 框架。
解决办法
- 安装诊断工具:执行
pip install lerobot-doctor。 - 运行检测命令:执行
lerobot-doctor /path/to/your/dataset,该工具会自动检查时间戳、数据文件缺失、帧索引断裂、Episode 计数不匹配及元数据不一致等问题。 - 根据工具输出的具体损坏 Episode 或文件列表,手动删除对应损坏文件;若仅 Footer 损坏且数据量小,可尝试修复或直接重新采集该组数据。
- 清理完成后重新运行
lerobot-record验证数据集加载是否正常。
讨论原作者:@le2222 等,版权归原作者所有。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)