TraceVLA 精读 — Visual Trace Prompting

速览

方法

Benchmark/任务

实验

与课题关系

自测

来源：PDF 原文核对；本地未找到源码仓库。

一句话

TraceVLA 用 CoTracker 从历史图像中跟踪活跃点，把末端/物体历史运动轨迹画回 RGB 图像，再和原图一起输入 OpenVLA。它证明：把历史压缩成 2D visual trace，比直接拼接多帧更适合 VLA 使用。

历史帧窗口 N=6

→

CoTracker 40×40 网格

→

筛选 M=5 active trajectories

→

叠加到 RGB 形成 trace image

→

原图 + trace 图输入 VLA

实现机制

设计	细节
点跟踪	CoTracker；起始帧划分 K×K 网格，K=40。
活跃点选择	累计相邻帧位移，超过阈值视为 active point。
轨迹采样	随机采样 M=5 条 active trajectories。
输入格式	原图 + visual trace 图，中间插入 learnable separator token。
trace dropout	训练时以概率 α 用原图替换 trace 图，提升 CoTracker 失败时的鲁棒性。

伪代码

tracks = cotracker(history_frames, grid=40)
motion = sum_norm(tracks[:,1:] - tracks[:,:-1])
active = tracks[motion > threshold]
trace = sample(active, M=5)
trace_img = overlay_polyline(current_img, trace)
action = traceVLA(images=[current_img, trace_img], text=trace_prompt + instruction)

评测设置

Benchmark/平台	内容	目的
SimplerEnv Google Robot	131/137 多环境配置，含 visual matching 与 variant aggregation	验证环境变体、相机、光照、背景、干扰物下的鲁棒性
WidowX-250 真机	固定第三视角 256×256 RGB；8 个真实任务；每任务 30 demos finetune	验证真实机器人和 unseen tasks
LIBERO	Spatial/Object/Goal/Long 四 suite，多任务混合训练	验证空间关系、物体、目标和长程任务收益

核心结果

SimplerEnv：摘要报告相比 OpenVLA 提升约 10%。
真机：摘要报告真实任务约为 OpenVLA 的 3.5×。
环境变体：camera orientation、background、distractor 下提升明显，平均提升超过 20% 的类别出现在这些变体中。

LIBERO 附加结果

方法	Spatial	Object	Goal	Long	Avg
OpenVLA finetuned	82.6±0.4	83.8±0.6	70.4±0.5	45.7±0.6	70.6±0.4
TraceVLA finetuned	84.6±0.2	85.2±0.4	75.1±0.3	54.1±1.0	74.8±0.4

关键消融

仅同数据继续 finetune OpenVLA 只有 1.1% 增益，小模型甚至 -0.3%。
直接输入 6 帧历史图像反而下降约 6%。
text trace 有 2.4% 增益，但 visual trace 额外再高 6.4%。
N=6/9 较优，太短信息不足，太长遮挡场景。

对 2D 方案的意义

TraceVLA 支持“只用 2D RGB 也能注入时序信息”的路线，并证明视觉提示优于把坐标写成文本。

但它已经占据“历史轨迹 visual prompting”。我们的方案不能只是 CoTracker + 画轨迹 + VLA，应转向 candidate action progress / rejection / relation verification。

自测

为什么多帧输入不如 visual trace？
Trace dropout 解决什么问题？
TraceVLA 与未来动作后果验证有什么不同？