# TCP4D统一模型实现单目视频TCP追踪与跨具身策略生成

> 原文链接：https://robotics.hellobike.com/papers/2026-11-17-2611-23143-c0824c9c
> 频道：papers | 更新日期：2026-11-17 | 标签：auto, arxiv, hf-daily-papers
> 核心摘要：TCP4D利用共享4D场景表征，从单目RGB视频恢复SE(3)位姿并生成轨迹。追踪器在DROID数据集误差仅7.60mm，生成器在RoboTwin成功率达69.19%。跨具身增强使新机体仅需10次演示即可适配，联合训练提升目标机器人成功率41.5%。

# TCP4D统一模型实现单目视频TCP追踪与跨具身策略生成

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation](https://arxiv.org/abs/2611.23143)（HF Daily Papers · arXiv 2611.23143）

## 核心内容

针对机器人操作视频中动作标注缺失难题，研究提出TCP4D统一模型，采用与具体机型无关的工具中心点（TCP）作为动作空间。该模型通过共享4D场景表征，同时执行观测到的TCP运动追踪与未来轨迹生成任务。实验显示，追踪器在DROID和RoboLab数据集上的绝对轨迹误差分别为7.60mm和16.07mm；生成器在RoboTwin基准测试中平均成功率达69.19%，且在两项真实世界任务中优于现有主流策略模型。

技术架构上，追踪器基于单目视频和初始2D查询直接恢复度量级SE(3)位姿、夹爪状态及相机参数；生成器沿恢复轨迹采样局部特征，结合语言指令预测未来状态。核心创新在于跨具身数据增强管线，无需源机器人状态记录，即可将现有RGB视频重定向为新机体演示数据。验证表明，新机体仅需10条演示即可适配，且源数据与增强数据联合训练比纯增强训练使目标机器人成功率提升41.5%。

## 关键看点

- **高精度位姿恢复**：追踪器直接从单目RGB视频恢复SE(3)位姿与夹爪状态，在DROID数据集绝对轨迹误差低至7.60mm，RoboLab为16.07mm。
- **跨具身数据增强**：构建无需源机器人状态的增强管线，通过运动重定向与观测合成将通用视频转化为特定机体演示，新机体仅需10条数据即可适配。
- **策略生成性能**：生成器在RoboTwin仿真基准平均成功率达69.19%，并在两项真实操作中超越成熟策略模型，验证了4D表征对长程任务的有效性。
- **联合训练增益**：证实源域真实数据与跨具身增强数据混合训练的价值，相比仅使用增强数据，目标机器人任务成功率显著提升41.5%。

## 工程与产业观察

TCP4D证明了以TCP为统一动作空间的4D表征在解决具身数据稀缺问题上的工程价值。其跨具身增强管线摆脱了对源机器人本体数据的依赖，大幅降低了新机型冷启动的数据采集成本。对于算法工程师而言，该方案提供了从海量互联网视频中挖掘操作先验、并通过联合训练高效迁移至特定本体的可行范式，加速了具身智能从仿真到真机的落地进程。

## 英文摘要 (Abstract)

Robot manipulation videos provide a rich visual experience, yet recovering robot action and gripper-state annotations from RGB observations still remains challenging. Using the embodiment-agnostic tool-center-point (TCP) pose as the action space, we present TCP4D, a unified model in which a shared 4D scene representation both tracks observed TCP motion and generates future TCP trajectories. Given a monocular video and initial 2D TCP queries, the tracker directly recovers metric TCP poses in SE(3) and gripper states alongside scene geometry and camera parameters. The generator samples local features from the same 4D representation along the recovered TCP tracks, then combines them with robot observations and language instructions to predict future TCP states. Our new cross-embodiment augmentation pipeline converts existing RGB videos into demonstrations for alternative embodiments by retargeting the recovered motion and synthesizing the corresponding observations, without recorded source-robot states. Experiments show that the tracker achieves absolute trajectory errors of 7.60 and 16.07 mm on DROID and RoboLab and adapts to a new embodiment with only ten demonstrations. The generator achieves 69.19% mean success on RoboTwin and outperforms well-established policy models on two real-world tasks, while joint training on source and augmented demonstrations improves target-robot success by 41.5% over augmented-only training.

Hugging Face Daily Papers 热度：23 upvotes
作者：PENGHAOSONG, Xiangyang Liu, Zhengshen Zhang, Yunfeng Fan, Tianyu Qi, Xin Xia, Yufeng Zhan, Wenchao Xu
:::

## 原始参考来源 (Sources)

- [HF Daily Papers · arXiv 2611.23143：TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation](https://arxiv.org/abs/2611.23143)