HarnessVLA

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

Gap：现在的机器人操作主要分为两个主要范式。一是VLA端到端的视觉语言动作模型；另外一个是LLM编码代理；VLA的策略单一，LLM编码需要手工设计，与物理世界脱节。

历史工作：

作者工作：提供了一个针对VLA的Harness工作流；定义了一系列原始接口；对不同阶段进行了分类：使用预定义的分析原语进行目标接地、传输、姿态调整等动作；使用冻结的VLA进行接触丰富阶段

Overview：定义了一个多模态观察元组，包含RGB图像，测量深度图、本体感知状态和任务描述；输入到智能体后会与物理引擎进行交互；所有的低级控制都被放进一个原始库；规划器会在每个执行回合处理多模态观测和任务描述，从特定内存和全局内存检索上下文，根据原语（这里包含VLA）发送结构化调用给物理引擎，直到满足原语的后置条件为止；停止后继续观测并更新状态。