踩坑GitHub huggingface/lerobot昨天
LeRobot merge_datasets合并嵌套数组报错PandasArrayExtension。
本文由 AI 根据公开内容整理,可能有误,请以原文为准:PyArrow Extension Dtype Error in
merge_datasets()(GitHub huggingface/lerobot #2445)
状态:有绕过办法
问题
在LeRobot 0.4.0至0.6.1版本中,调用merge_datasets()、convert_dataset_v21_to_v30.py或lerobot-edit-dataset处理含嵌套数组(如(4,3) float32)的Parquet文件时,触发AttributeError: 'PandasArrayExtensionDtype' object has no attribute 'v'。
环境
LeRobot 0.4.0-0.6.1及main分支,Python 3.12,Pandas 2.3.3,HF Datasets 5.2.0,Linux系统。
解决办法
- 定位Hugging Face Datasets库源码中的
PandasArrayExtensionDtype类定义(通常位于datasets/features/features.py)。 - 将该类中的
_metadata属性赋值从字符串形式(如_metadata = "value_type")修改为元组形式_metadata = ("value_type",)。 - 保存修改后重新运行
merge_datasets()、数据集版本转换或删除Episode等操作即可正常执行。 - 注意此方法为临时绕过方案,需关注上游HF Datasets库的正式修复以避免后续升级冲突。
讨论原作者:@yaxiongzhao-genesis 等,版权归原作者所有。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)