具身开发者社区

外观

踩坑GitHub Physical-Intelligence/openpi3 个月前

convert_aloha_data_to_lerobot.py转换大数据集触发OOM被Kill ​

使用convert_aloha_data_to_lerobot.py转换HDF5至LeRobot格式时内存溢出，暂无代码级优化方案，建议更换大内存服务器处理。

AI 整理
  • 数据与采集
  • 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Why does converting 750 task data using convert_aloha_data_to_lerobot.py use 90G of memory?（GitHub Physical-Intelligence/openpi #565）

状态：有绕过办法

问题 ​

在使用 convert_aloha_data_to_lerobot.py 将 HDF5 数据转换为 LeRobot 格式训练 pi0 多任务模型时，内存占用随转换过程持续增加。750条任务数据在90GB内存工作站上触发OOM；5000 episodes数据集在500GB RAM机器上同样耗尽内存。进程最终被系统OOM Killer终止且无Python报错，疑似LeRobot数据集相关函数内存管理问题。

环境 ​

Physical-Intelligence/openpi项目，pi0模型训练环境；涉及HDF5转LeRobot格式脚本 convert_aloha_data_to_lerobot.py；硬件涵盖90GB RAM工作站及500GB RAM服务器。

解决办法 ​

  1. 目前社区未提供针对 convert_aloha_data_to_lerobot.py 的代码级内存优化或分批处理补丁。
  2. 绕过方案为更换更大内存的计算设备，部分实验室使用4TB至16TB内存服务器处理此类大规模训练数据转换。
  3. 若条件受限，需等待官方修复或自行重构转换逻辑以实现流式/分块写入，避免全量加载导致OOM。

讨论原作者：@akajiejie 等，版权归原作者所有。

来源

本页事实对应的公开页面，以原文为准。

  1. GitHub Physical-Intelligence/openpi #565：Why does converting 750 task data using convert_aloha_data_to_lerobot.py use 90G of memory?访问 2026-10-26