外观
新闻X3 天前
MicroAGI实测HF增量上传机器人数据仅传2.6MB
本文由 AI 根据公开内容整理，可能有误，请以原文为准：fun stat from @microagi’s write-up on shipping petabytes of robot data:（X：Thomas Wolf（Hugging Face 联创/CSO） (@Thom_Wolf)（via AIHOT））
核心内容
MicroAGI在构建机器人数据交付平台时实测发现，向Hugging Face重新上传一个239GB且仅含小幅修改的数据集，得益于平台增量上传机制，实际网络传输量仅为2.6MB，全程耗时约1分钟。这一数据表明在处理高度重复的机器人录制数据（相同场景与设备）时，存储与同步效率可实现数量级提升。
该方案在规模化场景下持续有效，解决了具身智能研发中PB级数据流转的带宽瓶颈。团队进一步结合Cloudflare Workers实现跨云分发，测算显示超过1PB数据的分发成本仅需约500美元。这种“增量存储+边缘分发”的组合架构，为机器人训练数据的高效管理与低成本交付提供了可复用的工程范式。
关键看点
- 增量传输实测：重传239GB微调数据集实际仅消耗2.6MB流量，耗时约1分钟，验证HF去重机制对机器人数据的有效性
- 数据冗余特性：机器人采集数据因场景与设备固定具有高度重复性，使增量上传在规模化时能持续保持极高压缩比
- PB级分发成本：采用Cloudflare Workers进行跨云数据分发，超1PB规模数据的传输成本控制在约500美元水平
工程与产业观察
该实测揭示了具身数据基础设施的关键优化点：利用机器人数据的高时序与空间冗余特性，配合支持内容寻址的增量存储系统，可将PB级数据同步成本降至近乎零。这对降低大规模模仿学习的数据迭代周期、构建低成本Data Flywheel具有直接工程参考价值。
线索来源：AIHOT
来源
本页事实对应的公开页面，以原文为准。