VLA论文Base Code调研

🩷 本页基于 2026-07 调研整理，非单篇论文精读，而是横向对比各工作的技术选型。

核心对比表

论文	Base Model	Action 生成方式	开源	LIBERO 评测
OpenVLA (2024)	Llama-2 7B + ViT	Autoregressive token	✅	76.5%
OpenVLA-OFT (RSS'25)	OpenVLA 7B	Parallel decode + action chunk	✅	97.1%
TT-VLA (ACL'26)	OpenVLA	原始 + test-time RL	❌	+8-15pp OOD
EVOLVE-VLA (2024)	OpenVLA	原始 + TTT	❌	+8-22% OOD
π0 / π0.5	PaLI-Gemma + flow-matching	Flow-matching (连续)	部分(LeRobot)	~90%+ ID
VLS (内部)	π0.5 (LeRobot)	Flow-matching + gradient guidance	❌	+17pp OOD
OASIS (2025)	自研(SigLIP+depth+SE(3))	Action decoder (conditioned on SE(3))	❌	超越 VLA/WAM
GR00T (NVIDIA)	自研 (DiT-based)	Diffusion action head	✅(LeRobot)	—
Octo	Transformer + diffusion head	Diffusion	✅	基础
Diffusion Policy	UNet/Transformer + DDPM	Diffusion	✅	基础
InternVLA-A1.5 (2026)	InternVL + latent foresight	Hybrid (VLM + dynamics)	✅	—

关键结论

OpenVLA 是被引用/fine-tune 最多的开源 VLA base（TT-VLA, EVOLVE-VLA, OFT, RLDG 等）
π0/π0.5 效果最好但闭源/半开源，KV-cache 架构限制了 test-time intervention
OASIS 等顶会工作选择从头设计架构（新贡献=新 architecture）
OpenVLA-OFT 在 LIBERO 上 SOTA (97.1%)，证明 OpenVLA fine-tuning 可以非常强
做 OOD/test-time adaptation 的工作（TT-VLA, EVOLVE-VLA）主要用 OpenVLA 作为 base

OpenVLA 系列（最主流的开源 VLA base）

OpenVLA 本体

架构: Llama-2 7B backbone + SigLIP ViT + autoregressive action tokens
Action 表示: 离散 token（256 bins per dim），逐 token 生成
代码: github.com/openvla/openvla
优势: 完全开源、HuggingFace 格式、有标准 fine-tuning pipeline
劣势: 原始版本 action quality 不如 diffusion-based policy

OpenVLA-OFT（RSS 2025）

改进: Parallel decoding + action chunking + continuous action + L1 loss
效果: LIBERO 76.5% → 97.1%，推理速度 26×
代码: github.com/moojink/openvla-oft（含 LIBERO fine-tune recipe）
意义: 证明 OpenVLA 经过正确 fine-tuning 可以达到 SOTA

基于 OpenVLA 的 OOD 工作

TT-VLA: Test-time RL with progress estimator → +8-15pp OOD
EVOLVE-VLA: Test-time training with env feedback → +8-22% OOD
RLDG: RL-trained specialists distill into OpenVLA
VLA-Adapter: Parameter-efficient fine-tuning for task adaptation

OpenVLA 的 autoregressive token generation 不使用 KV-cache split（和 π0.5 不同），这使得 test-time conditioning 更容易实现。TT-VLA 和 EVOLVE-VLA 证明了这一点。

π0 / π0.5 系列

架构特点

Backbone: PaLI-Gemma (VLM) + Expert Gemma (action decoder)
Action 生成: Flow-matching (连续 action space, 迭代 denoising)
Inference: Prefix KV cache + iterative denoise_step（这导致 training-inference gap）
代码: LeRobot (lerobot/pi05_libero_finetuned_v044)，部分开源

为什么不适合做 base（我们的教训）

π0.5 的 KV-cache-based inference 架构是不可穿越的障碍：

Training: full forward (prefix + suffix 一起过所有 layers)
Inference: prefix cached → suffix 用 cached KV 做 cross-attention
任何在 training 中学到的 conditioning signal 在 inference 中行为不同
7 次 embedding injection 尝试全部失败（详见飞书文档）

基于 π0/π0.5 的工作

VLS: 通过 GPT-5.5 生成 reward → gradient injection into flow-matching（hack 式，不改 architecture）
ImageWAM: World Action Model，用 π0 架构做 video+action 联合生成

自研架构系列

OASIS（2025，最优雅的代表）

核心 idea: Observation-Action Space Alignment via SE(3) Trajectory Prediction
架构: 3D-aware encoder (SigLIP + metric depth) → SE(3) trajectory predictor → action decoder
创新: 引入 geometric bottleneck（SE(3) trajectory）作为中间表示
结果: 超越所有 VLA 和 WAM baselines（sim + real）
启示: 真正优雅的 architecture design > 在现有 VLA 上打补丁

其他自研

GR00T (NVIDIA): DiT-based action generation, LeRobot 集成
InternVLA-A1.5: InternVL + latent foresight（VLM + dynamics model 融合）
Diffusion Policy: 非 VLA 但经典的 action generation architecture
Octo: 轻量开源 transformer + diffusion head

架构深度分析：为什么 π0.5 不能、OpenVLA 可以做 Test-Time Conditioning

核心问题：Training-Inference Path Consistency

能否在 test-time 注入新的 conditioning signal，取决于 training 和 inference 是否走相同的计算图。如果不同，在 training 中学到的 signal 在 inference 中会失效。

π0.5：为什么不行

特征	Training Forward	Inference Forward	Gap
计算方式	Full forward: prefix+suffix 一起过所有 layers	KV cache: prefix 先 cache，suffix 逐步 denoise	严重不一致
Prefix 处理	每次重新计算	一次性 cache 到 past_key_values	固化后无法修改
Action 生成	Flow-matching (连续 denoising)	Iterative denoise_step × 10 steps	每步只看 cached KV
Conditioning 通道	adarms_cond (timestep)	同 adarms_cond	但 prefix KV 不含新 signal

7 次注入失败的统一根因：

Prefix token injection: 加 1 token → prefix_len+1 → RoPE positional encoding 偏移 → attention pattern 崩溃
AdaRMS injection (frozen backbone): Projector 学到输出零（backbone 不配合，最优策略=不扰动）
AdaRMS injection (unfrozen backbone): Training OK (L_with=0.12) 但 inference 0%（full forward 学到的 pattern 在 KV cache 路径中不 work）
Inference-path training (frozen backbone): 又回到 "projector→零" 因为 KV cache 是 detached 的

OpenVLA：为什么可以

特征	Training Forward	Inference Forward	Gap
计算方式	Autoregressive: tokens 逐个生成	Autoregressive: 同样逐个生成	完全一致 ✅
Input sequence	[image_tokens, text_tokens, action_tokens]	同样的 token sequence	无 gap
Action 生成	Predict next token (离散/OFT: parallel decode)	同样的 decode	一致
Position handling	Variable-length sequence（训练时就见过不同长度）	Same	加 token 不破坏 ✅

OpenVLA 允许 test-time conditioning 的关键原因：

No KV-cache split: 不像 π0.5 把 prefix 和 suffix 分开处理
Variable-length input: 训练时就处理不同长度的 text → 加 intent token 只是"更长的 input"
Autoregressive = training path == inference path: 没有两条不同的计算图
Token-level generation: 每个 action token 都能 attend 到所有之前的 tokens（包括新加的 intent token）

通用判断标准：哪些 VLA 可以做 Test-Time Conditioning？

架构类型	代表	可否 Test-Time Inject	原因
Autoregressive VLA	OpenVLA, RT-2, Octo (LLM part)	✅ 可以	Training=Inference path; variable-length input
Flow-matching + KV cache	π0, π0.5	❌ 不可以	KV cache 固化 prefix; training-inference gap
Diffusion Policy (无 LLM)	Diffusion Policy, DDPM	⚠️ 部分可以	可以通过 classifier(-free) guidance; 但无 language
Diffusion + LLM encoder	Octo (full), GR00T	✅ 可以	LLM encoder 不使用 KV cache for action gen
自研 with explicit bottleneck	OASIS	✅ 天然支持	Bottleneck 就是 override 点（设计如此）

更深层的原理

一句话判断法： 如果模型在 inference 时的 action generation 过程中，新加的 signal 能被所有参与 action prediction 的 layers "看到"（参与 attention 计算），则可以注入。如果有任何 "固化/缓存" 的中间状态阻断了 signal 传播（如 KV cache），则不行。

Flow-matching 的特殊困难：

Flow-matching 需要多步 denoise（10 steps），每步都要做 full transformer forward
为了效率，π0.5 把不变的部分（prefix）cache 起来（只计算一次）
这导致 prefix 在 denoise loop 中是"冻结"的——新 signal 无法通过 prefix 影响 action
唯一不被 cache 的是 suffix（noisy action tokens）和 adarms_cond（timestep conditioning）
但 adarms 是为 timestep 设计的，注入其他 signal 会干扰 timestep 语义

Autoregressive 的天然优势：

每个 action token 的生成都是一次完整的 forward pass（attend to all previous tokens）
加一个 intent token 到 input → 所有 action tokens 都能 attend to it
训练时模型见过不同长度的 input → 多一个 token 不会破坏 position encoding
OpenVLA-OFT 的 parallel decode 也保持了这个特性（一次生成 chunk 但仍 attend to full prefix）

选型建议（对于我们的 OOD 课题）

为什么选 OpenVLA？

允许 test-time conditioning: TT-VLA/EVOLVE-VLA 已证明可以在 OpenVLA 上做 test-time adaptation
不使用 KV-cache split: Autoregressive generation，training=inference path
完整开源 + fine-tuning recipe: OpenVLA-OFT 提供了 LIBERO 上的完整 pipeline
有 OOD benchmark 先例: TT-VLA/EVOLVE 已经在 LIBERO OOD 上做了实验
我们有相关代码: /robot/.../projects/vlmguide_oft (可能已有 OpenVLA 部署)

实施路径

Phase	内容	时间
1	部署 OpenVLA + LIBERO fine-tuning (参考 OFT recipe)	1-2天
2	在 OpenVLA 上实现 Spatial Intent Conditioning（architecture modification）	2-3天
3	训练 + ID 验证	1-2天
4	OOD 评测（spatial/object/方位）	1-2天
5	对比 TT-VLA/EVOLVE-VLA + 写论文	3-5天

与 OASIS 的差异化

OASIS: obs-action alignment via SE(3) trajectory
Ours: instruction-grounding alignment via spatial intent conditioning
互补而非竞争：OASIS 解决 3D 几何对齐，我们解决 OOD spatial grounding

自测

Q1: 以下哪个 VLA 是被 test-time adaptation 论文（TT-VLA, EVOLVE-VLA）最常用作 base 的？

OpenVLA 开源、允许 fine-tune、有标准 pipeline，TT-VLA 和 EVOLVE-VLA 都以它为 base。

Q2: OASIS 论文的核心 architectural innovation 是什么？

OASIS 在 obs-action 之间加了 SE(3) trajectory prediction 作为中间表示，强制网络先理解 3D 几何再生成动作。

Q3: π0.5 不适合做 test-time injection 的根本原因是？

π0.5 的 prefix KV cache 在 inference 时固化，导致任何在 training (full forward) 中学到的 conditioning 在 inference (KV cache) 中行为不同。

Q4: OpenVLA-OFT 在 LIBERO 上达到了什么 success rate？

OpenVLA-OFT 通过 parallel decoding + action chunking + L1 loss 等优化，将 OpenVLA 从 76.5% 提升到 97.1%。

Q5: 对于 OOD spatial grounding 问题，最合适的 base model 选择是？

OpenVLA 的 autoregressive 架构不使用 KV-cache split，允许 test-time conditioning（TT-VLA/EVOLVE 已验证），且有完整的 LIBERO fine-tuning recipe。

VLA 论文 Base Code 调研（2024-2026）