Octo Base 是一个用于机器人策略建模的 93M 参数 Transformer 模型，规模等同于 ViT-B。模型以窗口大小 2 进行训练，通过扩散策略预测未来 4 步的 7 维动作；图像先经轻量卷积编码器预处理，再分组为 16x16 patch，语言使用 T5 tokenizer，并经过 T5-Base 语言编码器。推理时可传入任意 observation 和 task key 的子集，历史窗口最多 2 个时间步。

模型训练数据来自 Open X-Embodiment dataset 的混合数据集，批次比例较高的来源包括 Fractal、Kuka、Bridge、BC-Z、Stanford Hydra Dataset 和 Language Table 等。1.5 版本将语言任务 token 在上下文窗口每个时间步重复，使用 GPT-3.5 对数据中的语言指令做改写增强，并修复了 diffusion head dropout、attention mask off-by-one、图像增强随机种子等问题。使用说明指向 octo-models/octo GitHub 仓库。