Yan et al. 2026 · arXiv:2603.27670 · 进度估计 + 世界模型 + classifier guidance
ProgressVLA 把任务进度变成 diffusion policy 的推理时引导信号:先训练 progress estimator 判断当前/未来状态离完成还有多远,再用 action-conditioned world model 预测动作导致的未来视觉 latent,最后把 progress gradient 反传到 latent action diffusion sampling 中。
| 模块 | 功能 |
|---|---|
| Progress estimator | 使用 DINOv2 patch features,从 start/current frame 和语言 token 估计任务进度标量。 |
| Normalized timestep proxy | 训练时用 demonstration 的归一化时间步作为 progress supervision。 |
| Action-conditioned world model | 给定当前视觉 latent 与候选动作,预测未来视觉 latent。 |
| Classifier guidance | 对 predicted future latent 的 progress 分数求梯度,用于 diffusion sampling 时修正 latent action。 |
for denoise_step in diffusion_steps:
a_latent = denoise(a_latent, obs, instruction)
future_z = world_model(obs_z, a_latent)
p = progress_estimator(start_img, future_z, instruction)
grad = autograd.grad(p, a_latent)
a_latent = a_latent + guidance_scale * grad| Benchmark | 内容 | 为什么适合 |
|---|---|---|
| CALVIN ABC→D | 长程连续五任务评测,常用 Avg.Len 和 5-in-row | 进度估计最适合验证多阶段连续完成能力 |
| LIBERO | Spatial/Object/Goal/Long 四 suite | 验证空间关系、物体泛化、目标变化和长程任务 |
| 真实 ARX AC-One | 真实机器人操作 | 检查 progress guidance 是否能迁移出仿真 |
| 方法 | Avg.Len | 5-in-row |
|---|---|---|
| ProgressVLA w/o cg | 3.24 | 43.1 |
| Pretrained ProgressVLA w/o cg | 3.57 | 51.6 |
| Pretrained ProgressVLA w/ cg | 3.61 | 52.8 |
| Pretrained + cg(pretrained evaluator) | 3.68 | 56.4 |
| Full | 3.73 | — |
| 方法 | Spatial | Object | Goal | Long | Avg |
|---|---|---|---|---|---|
| w/o cg | 83.2 | 95.0 | 84.6 | 63.2 | 81.5 |
| w/ cg | 85.8 | 96.1 | 86.0 | 65.4 | 83.3 |
| Full | 88.2 | 96.4 | 87.2 | 66.2 | 84.5 |
| ProgressVLA | 我们应差异化 |
|---|---|
| 单标量 progress p | 对象中心、关系分解的 progress:target-object、target-region、relation、stage |
| world model 预测未来 latent 后对 p 求梯度 | candidate-level rejection/reranking,可用于 VLA/DP/ACT,不一定要扩散梯度 |
| normalized timestep supervision | 结构化任务约束/反事实错误类型 supervision,而非时间步 proxy |