新闻/雷峰网·今天

天津大学发布FAM通用多模态基座，动态证据融合提升具身预测精度

天津大学张长青团队提出FAM通用多模态预测基座与TMC可信融合方法。FAM通过上下文学习适配12种模态，平均准确率较专用基线提升6.9%；在视触觉抓取成功率预测及RL轨迹评分等具身任务中验证了跨模态泛化潜力。

AI 整理

• 感知与导航
• 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026（雷峰网）

核心内容

在CNCC 2026上，天津大学张长青教授发布广义多模态融合技术体系，核心包括Fusion Anything Model（FAM）通用基座与TMC可信多视图分类方法。针对具身智能中模态缺失与噪声干扰痛点，该研究从表征、决策到基座模型三个层面重构融合范式。FAM在18个真实数据集、12种模态及11类任务测试中，平均准确率较专用融合基线提升约6.9个百分点，并在视触觉抓取预测等具身场景完成初步验证。

技术上，FAM采用模态内、跨模态及样本级三类注意力机制，结合结构多模态因果模型（SMCMs）生成合成数据以解决训练样本多样性难题，支持无需微调的上下文学习。TMC方法引入变分狄利克雷分布与Dempster-Shafer证据理论动态评估不确定性，在晶体结构识别任务中将准确率从58%提升至93.9%。在具身应用中，FAM用于视触觉抓取成功率预测表现接近专用算法，并在结合文本指令与视频观测的强化学习轨迹评分任务中优于基线方案。

关键看点

• FAM架构创新：集成模态内、跨模态及样本级三类注意力机制，利用SMCMs生成合成数据，支持12种模态的上下文学习而无需参数微调
• 动态可信融合：TMC方法基于变分狄利克雷分布与证据理论量化不确定性，在晶体识别任务中准确率由58%跃升至93.9%
• 具身任务验证：FAM在视触觉抓取成功率预测中性能对标专用方法，并在文本-视频联合驱动的RL轨迹评分任务中超越基线
• 通用性实测：覆盖18个数据集与11类预测任务，平均准确率较专用融合基线提升6.9%，显著降低新场景适配成本

工程与产业观察

FAM为具身智能提供了跨模态泛化的新范式，其上下文学习能力有望解决机器人长尾场景中数据稀缺与重训练成本高的问题。将不确定性估计引入感知融合，增强了系统在传感器失效或噪声环境下的决策鲁棒性，对提升具身本体在非结构化环境中的安全作业能力具有重要工程参考价值。

来源

本页事实对应的公开页面，以原文为准。

1. 雷峰网：模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026访问 2026-10-28