---
postId: article.001
lang: zh-CN
---
# 从视觉与指令到机器人动作：两条正在形成的路径
## 一分钟结论
许多讨论把视觉—语言—动作模型（Vision-Language-Action, VLA）和世界—动作模型（World-Action Model, WAM）当作两个边界清楚的产品类别来比较。我认为这种框架太僵硬。两类系统都可以接收图像、语言指令、观测历史和机器人状态，最终也都必须输出可执行的机器人动作。真正更有用的问题，是这两个端点之间究竟发生了什么。
在收到观测与指令之后，模型在生成动作之前，主要被训练去理解或预测什么？
为了便于说明，我把现有方法概括为两条宽泛路线。第一条把机器人控制建立在视觉—语言模型学习到的语义表征之上。第二条引入视频预测或世界建模，让策略学习物理世界如何随时间变化。两条路线的最终输出可能相同，但传给动作生成器的表征，以及产生这种表征的学习目标，可能非常不同。
> **关于这套分类。** 这两条路线是分析框架，不是互斥的模型家族。今天的系统越来越多地混合语义、时间和动作目标。只有当这套分类能让训练目标与推理路径更容易被检查时，它才有价值。
[](./wam-vla-two-paths-en.png)
*这张图按输入、中间目标和推理时计算来组织。选择图片可打开完整分辨率版本。*
## 共同起点
两条路线通常都从某种组合开始：视觉观测、自然语言指令，以及机器人自身的状态。
视觉输入可以是一帧相机图像，也可以是一小段历史帧。指令描述任务，例如“把杯子放进水槽”。机器人状态则可能包含关节位置、夹爪状态、末端执行器位姿或其他本体感觉信息。
这些输入是数据，不是彼此独立的模型模块。这看似显而易见，却很重要：架构图常把“观测”和“语言”画在 VLM 或 WM 方框旁边，让它们看起来像独立的架构组件。实际上，它们只是提供给模型的信息。
输入进入系统之后，才出现第一个真正有意义的分类点：模型首先被训练去解决什么问题？
## 路线 A：先理解任务，再生成动作
第一条路线从预训练视觉—语言模型出发，把它扩展为视觉—语言—动作模型。
VLM 的主要目标，是把视觉与语言信息组织成具有语义用途的表征。给定一张图像和一条指令，它可以识别物体、理解关系、解释请求，并判断场景中的哪些部分与任务有关。
但在机器人系统里，VLM 并不一定先生成一句人类可读的文字，再把它交给独立控制器。大多数 VLA 系统里的动作模块，会直接读取内部隐藏状态或 token embedding。
这些隐藏表征编码了模型认为场景里有什么、指令是什么意思，以及应该追求哪个语义目标。它们是机器可读的表征，而不是普通语言。动作解码器或动作专家随后把这段上下文转换成动作块：机械臂、夹爪、移动底盘或其他执行器在短时间内要执行的一串连续指令。
> **路径：** 观测与指令 → 语义隐藏表征 → 动作生成
[π0](https://arxiv.org/abs/2410.24164) 是代表性例子。它在预训练 VLM 之上接入一个基于 flow matching 的动作专家，让互联网规模的语义知识与连续动作生成在同一个紧耦合策略中相互作用。不能把它理解成两个互相独立的程序——一个先写出任务说明，另一个再控制机器人。
这条路线的优势很清楚。预训练 VLM 把语言理解、物体识别、场景知识、指令遵循和网络规模的语义先验带进机器人学习。机器人不必只靠昂贵的示范数据，从头学会每一个概念。
一个可能的限制是语义瓶颈。为物体识别和指令理解优化的表征，可能压缩掉操控所需的一部分精细时间与物理细节。它可以理解“需要拿起杯子”，却未必以同等保真度表征接触将怎样改变杯子位姿，或未来数秒内场景会如何演化。
这并不意味着 VLM 表征完全不包含空间或物理信息；更准确的说法是，它们的主导预训练目标通常是语义理解，而不是显式预测物理演化。
## 路线 B：先学习世界如何变化，再生成动作
第二条路线从视频模型或世界模型出发。它的核心目标不只是识别当前看见了什么，还要建模接下来可能发生什么：物体怎样运动，机器人怎样改变环境，接触怎样影响场景，以及视觉状态如何随时间演化。
> **路径：** 观测与指令 → 未来世界表征 → 动作生成
“未来世界表征”并不总是指一段人可以直接观看的完整 RGB 视频。根据架构不同，它可以是显式解码的视频、一串视频 latent、内部预测视觉特征，或只在训练阶段出现而部署时被移除的目标。
这些方法的共同点不是某一种输出格式，而是把未来视觉动力学作为学习信号。相比高度压缩的语义表征，视频表征可以保留更稠密的空间与时间结构：不仅说明一个物体是什么，还描述它可能移动到哪里、机器人可以怎样与它交互，以及可能产生什么物理后果。
这正是世界—动作模型背后的动机。动作生成器不只依赖对当前场景的语义描述，还可以利用对潜在物理演化的表征。
代价同样重要。视频建模通常比紧凑的动作序列消耗更多 token、内存与计算量。显式生成未来视频还可能引入明显延迟，尤其当它需要迭代式 diffusion 或去噪时。
## 第二个分岔：推理时还保留哪些计算？
模型已经从未来视觉动力学中学到东西之后，在控制机器人时是否仍需生成未来，或显式计算对未来的估计？
这个问题把一些常被过度归为一类的设计区分开来。有些模型在推理时联合生成未来视觉状态与动作；另一些模型保留预测性视觉特征，但不解码完整视频；还有一类只在训练时使用视频预测，部署时移除迭代式未来生成。
DreamZero、VPP、Fast-WAM 与 GigaWorld-Policy 很好地展示了这种区别。
## DreamZero：联合生成未来世界与动作
[DreamZero](https://arxiv.org/abs/2602.15922) 是这组比较中最显式的世界—动作建模例子。它建立在预训练视频 diffusion 骨干之上，联合建模未来视频与机器人动作。给定观测、历史、指令和相关机器人状态，模型在生成对应动作的同时，也预测视觉世界可能如何演化。
这不应被理解成严格串行的流水线：一个独立世界模型先做完视频，再把视频交给另一个独立控制器。视频流与动作流在生成过程中彼此耦合。未来视觉预测为物理动力学提供稠密监督，动作信息则把视觉演化与可执行行为连接起来。
用最直白的话说，DreamZero 一边想象未来画面，一边生成可能实现这一未来的动作。
这套设计很直观：如果模型能表征任务成功在时间上的样子，它或许能学到比只模仿动作标签的策略更丰富的感知—动力学—控制关系。挑战在于计算成本。联合生成视频和动作，需要充分的系统优化才能快到适合闭环控制。
## VPP：预测视觉特征，但不画出完整视频
[Video Prediction Policy](https://arxiv.org/abs/2412.14803) 位于显式视频生成和 latent→动作推理之间。
VPP 把视频 diffusion 模型用作预测视觉表征的编码器。这些内部特征既包含当前场景信息，也包含对未来演化的结构化估计。Video Former 压缩高维特征，随后由 diffusion policy 生成机器人动作。
关键技术点是：主控制路径只需让视频模型前向一次，得到单步预测表征；它不需要执行为了渲染精致、可观看的未来视频而使用的完整多步去噪流程。30 步视频可用于可视化，却不是部署策略所必需的表征。
因此，把 VPP 描述成“先生成完整视频，再从视频推断动作”并不准确。更好的说法是：VPP 构造一个面向未来的视觉表征，并让动作策略以此为条件。
用最直白的话说，VPP 预测未来，但不把未来完整画出来。
## Fast-WAM：从未来预测中学习，但不在部署时展开未来
[Fast-WAM](https://arxiv.org/abs/2603.16666) 追问：世界—动作模型的主要价值，来自推理时显式想象，还是来自训练阶段视频建模所塑造的表征？
它的受控比较表明，大部分价值可能来自训练目标。Fast-WAM 保留视频协同训练：未来视频 latent 与动作块同时提供学习信号，把视频骨干塑造成具有物理信息的世界编码器。
但在部署时，Fast-WAM 会移除未来视频分支，也移除对未来帧进行迭代去噪的过程。它并没有取消所有面向未来的计算。干净观测 token 仍会通过一次预训练视频 DiT——此时它作为单次前向的世界编码器——产生 latent 世界表征，再以此为条件驱动动作专家。
> **路径：** 当前观测 → 单次前向的 latent 世界表征 → 机器人动作
最简洁的描述是：**训练时联合建模视频，测试时从 latent 直接推动作。** 模型从未来预测中学习，却不会在控制机器人时展开未来视频。
这项设计试图保留世界建模带来的表征收益，同时移除其最大部署成本之一：测试时的迭代式未来生成。
## GigaWorld-Policy：让动作在因果上独立于未来视频
[GigaWorld-Policy](https://arxiv.org/abs/2603.17240) 通过另一种架构选择实现只生成动作的推理。
训练时，它从当前观测预测未来动作；与此同时，它学习以观测和预测动作共同为条件生成未来视频。未来视觉动力学由此提供稠密物理监督，并鼓励模型产生与合理场景演化一致的动作。
因果注意力掩码阻止未来视频 token 影响动作 token。依赖只沿一个方向流动：预测动作可以作为未来视频生成的条件，但动作预测本身不依赖未来视频 token。因此，推理时可以关闭视频分支，而不改变动作所使用的因果路径。
> **路径：** 当前观测 → 仅解码动作
GigaWorld-Policy 在训练时仍从世界建模中获益，但它把动作生成视为中心任务，把未来视频视为辅助物理监督。它的策略可以概括为：**训练时利用视觉动力学，部署时只解码动作。**
Fast-WAM 和 GigaWorld-Policy 都避免在推理时生成未来视频，但两者逻辑并不相同。Fast-WAM 强调视频协同训练的经验价值，并在推理时保留单次前向的世界编码器；GigaWorld-Policy 则把动作分支与视频分支之间的因果独立直接写进架构。
## 这组比较真正说明了什么
VLA 与 WAM 的区别，不能被简化成输入或最终输出不同。两者都可能接收图像、语言、观测历史和机器人状态，也都最终产生机器人动作。
更深层的区别在于：模型被训练去预测什么，哪一种表征到达动作生成器，以及部署时哪些计算仍然存在。
VLM→VLA 路线主要围绕语义理解组织：眼前有什么、指令是什么意思、机器人应该做什么。视频／世界模型路线则围绕时间与物理演化组织：接下来可能发生什么、场景会怎样变化，以及一个动作是否与这种变化相一致。
基于 VLM 的系统继承了强语义先验、语言 grounding 与互联网规模知识；它们的表征也可以更紧凑，更容易进行高频部署。基于世界模型的系统引入更稠密的时间与空间监督，可能改善对运动、交互、接触和物理后果的表征。代价则是更高的计算与内存成本，尤其当系统在推理时显式生成未来视觉状态时。
因此，前沿问题不是在 VLA 和 WAM 之间二选一。更有用的问题是：需要多少世界建模，它应在学习过程的哪里进入，以及部署时是否必须继续运行。
DreamZero 在推理中保留未来视频与动作的联合生成；VPP 提取单步预测视觉特征，但不完整解码未来视频；Fast-WAM 在训练时使用视频建模，推理时依赖单次前向的世界编码器；GigaWorld-Policy 则让动作生成在因果上独立于可选的未来视频分支。
> **连续谱：** 显式未来生成 → 预测视觉表征 → 训练时世界建模 → 仅动作推理
相关术语仍未稳定。“World-Action Model” 是正在形成的标签，并非普遍标准化的架构类别；VLA、视频策略、世界模型与 WAM 之间的边界也越来越模糊。
因此，我不会只凭一篇论文使用的标签来评价新的机器人基础模型。我会追问三个具体问题：
1. 模型被训练去预测什么？
2. 什么表征到达动作生成器？
3. 机器人运行时，哪些计算仍然活跃？
这三个问题解释了图中分类背后的逻辑，而且即使名称继续变化，它们依然有用。
## 一手资料
技术描述依据截至 2026 年 7 月 29 日可获得的以下论文版本核对。
1. [π0: A Vision-Language-Action Flow Model for General Robot Control](https://arxiv.org/abs/2410.24164)
2. [Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations](https://arxiv.org/abs/2412.14803)
3. [World Action Models are Zero-shot Policies](https://arxiv.org/abs/2602.15922)
4. [Fast-WAM: Do World Action Models Need Test-time Future Imagination?](https://arxiv.org/abs/2603.16666)
5. [GigaWorld-Policy: An Efficient Action-Centered World-Action Model](https://arxiv.org/abs/2603.17240)