Magma-8B 是面向多模态 AI agents 的模型，可基于文本和图像输入生成文本，目标覆盖虚拟与真实环境中的交互。其核心技术包括 Set-of-Mark、Trace-of-Mark，并利用大量未标注视频数据学习时空 grounding 与规划能力。

模型以 Meta LLama-3 作为语言模型骨干，使用 LAION 团队训练的 CLIP-ConvneXt-XXLarge 作为视觉编码器，将图像和视频 token 与文本 token 一起输入 LLM。训练数据包括通用图像与视频 SFT 数据、教学视频、Open-X-Embodiment 机器人操作数据、SeeClick UI grounding 数据，以及 Mind2web 和 AITW UI 导航数据；机器人数据中提取 7 DoF 夹爪状态和 trace-of-mark。

评估覆盖 UI grounding、UI navigation、机器人操作、空间理解与推理、图像和视频理解等任务；机器人相关测试包含 SimplerEnv 和 WidowX real robot。模型用于研究目的，使用时需要安装定制版 transformers，并以 MIT License 发布。