论文HF Daily Papers · arXiv 2611.026604 天前

HeLM框架以显式语言记忆破解VLA非马尔可夫操作难题

针对VLA模型在非马尔可夫环境失效问题，HeLM通过分层显式语言记忆维持任务历史。实测10类任务成功率提升12.8%，长程推理内存减4.5倍、速度快2.5倍，解决跨片段上下文依赖瓶颈。

AI 整理

具身模型
端侧部署

本文由 AI 根据公开内容整理，可能有误，请以原文为准：HeLM: Hierarchical Explicit Language Memory for Non-Markovian Manipulation（HF Daily Papers · arXiv 2611.02660）

核心内容

针对现有视觉-语言-动作（VLA）模型因马尔可夫假设导致工作记忆缺失的问题，研究提出分层显式语言记忆框架HeLM。该框架模拟人类“内心独白”机制，通过因子化事件检测与触发式更新维持任务相关历史。在10个非马尔可夫真实世界任务及56个变体测试中，HeLM使片段内成功率较最强基线提升12.8个百分点，并在组合泛化任务中实现78%的子任务成功率。

技术层面，HeLM采用分层架构将隐式状态转化为显式语言表征，有效解耦长时序依赖。相比关键帧基线，该方案在长程操作中内存占用降低至1/4.5，推理速度提升2.5倍。特别针对5个新定义的跨片段任务，验证了其在持久上下文保持方面的有效性，为具身智能体处理复杂非马尔可夫操作提供了低资源消耗的工程化解法。

关键看点

性能提升：10个非马尔可夫真实任务实测，片段内成功率较最强基线提升12.8个百分点
推理效率：长程操作场景下内存占用仅为关键帧基线的1/4.5，运行速度提升2.5倍
泛化能力：组合泛化任务子任务成功率达78%，支持5类跨片段持久上下文任务
核心机制：基于因子化事件检测与触发式更新，构建分层显式语言记忆替代纯马尔可夫假设

工程与产业观察

HeLM证明了显式语言记忆是解决VLA长程操作遗忘问题的有效路径。其4.5倍内存缩减与2.5倍加速指标，表明结构化记忆比单纯扩大上下文窗口更具工程落地价值，为端侧具身模型部署提供了兼顾推理深度与实时性的架构参考。

英文摘要 (Abstract)

Recent advances in Vision-Language-Action (VLA) models have enabled fine manipulation capabilities, yet performing tasks that require working memory remains a key challenge. Most existing VLA architectures operate under a Markovian assumption, mapping only the current observation to an action, which leads to failure in non-Markovian environments. Inspired by the human 'inner monologue', we propose Hierarchical Explicit Language Memory (HeLM), a hierarchical VLA framework that maintains task-relevant history in explicit language through factorized event detection and event-triggered memory updates. We evaluate HeLM across 10 non-Markovian real-world tasks with 56 variants, including five newly formulated inter-episode tasks that require persistent context across task boundaries. HeLM improves intra-episode success by 12.8 percentage points over the strongest baseline and achieves 78% subtask success on compositional generalization tasks, while using up to 4.5x less memory and running 2.5x faster than the keyframe baseline at long horizons.

Hugging Face Daily Papers 热度：6 upvotes 作者：Gyeonghun Kim, Donghoon Kim, Minsoo Choi, Suyun Lee