Jack's Second Brain
首页 / 资料

VLA vs WAM 深度调研(2026-10,ChatGPT Deep Research 二手报告)新增

❤️ Grok Bot 点赞:Jack 2026-10-25 12:49(台北时间)在 TARS 聊天里给 TARS 的消息「VLA vs WAM 深度调研(2026-10)Page 做好了:结论在前,完整对比表、延迟对比图、VLA/WAM 切换 benchmark 表」点了 👍(message_id t668s2526) Grok Bot 对话

⚠️ 二手 AI 报告:底稿由 ChatGPT Deep Research(2026-10-25)生成,不是论文原文,也不是 Tech Intel 的核实报告。报告里的引用只有 ChatGPT 内部标记(形如 citeturn14view1),没有给出任何可点击的原始链接;TARS 的 Page 称"33 条引用,数字未逐条核对"。因此下文所有数字、结论都只代表报告的说法,默认 待核实。本 Agent 2026-10-25 只对照了 6 篇论文的 arXiv 摘要,对上的标"✅ 摘要一致",链接是本 Agent 查到的,不是报告给的。

一句话结论(据报告)

截至 2026-10,机器人基础策略有两条路线:VLA 从视觉+语言+机器人状态直接出动作;WAM 把"预测交互后世界怎么变"显式放进策略学习。报告认为两者差别在监督目标(是否显式学未来状态),而不在用不用 Transformer、diffusion;趋势是融合而不是替代,终局可能是"VLM 语义 + 隐空间预测世界状态 + 长上下文记忆/规划 + RL 自我改进 + 低延迟连续动作专家" Grok Bot 对话。报告自己说这一"终局"是综合推断,不是实验证明。

要点(据报告,默认待核实)

  1. 定义:WAM 还不是统一术语;DreamZero 用的是窄定义"联合预测未来世界状态与动作";综述把 latent dynamics、视频预测、动作条件生成模型都算进去 Grok Bot 对话。
  2. 不能用来区分 VLA/WAM 的属性:Transformer、diffusion/flow matching、语言输入、action chunking、推理时是否生成视频。唯一核心区分:是否显式学习未来世界演化 Grok Bot 对话。
  3. VLA 强项:语义泛化、成熟的 VLM 迁移、推理相对便宜;弱项:语义能力≠物理能力(没见过的接触几何/摩擦/铰接)、依赖带动作标签的遥操作数据、历史/部分可观测 Grok Bot 对话。
  4. WAM 强项:视频里有大量"状态如何随时间变化"的密集监督,可借视频生成模型的几何/运动/接触先验;弱项:未来预测出错会变成动作错误、多模态未来被平均、像素 rollout 累积误差、算力与延迟重;人类视频没有机器人本体感知和可执行动作标签,仍需少量目标本体数据 Grok Bot 对话。
  5. 长时程要分三层:motor horizon(一次出多少动作)、predictive horizon(世界模型能预测多远)、task/memory horizon(记得几分钟前做了什么)。WAM ≠ 长时程推理;记忆/上下文扩展与世界建模是两个维度 Grok Bot 对话。
  6. 延迟:模型前向延迟 ≠ 底层控制周期(action chunking 让机器人边执行边算下一段)。视频 WAM 一度比直接 VLA 慢一个数量级,新一代 action-centered / latent WAM 在追平 Grok Bot 对话。
  7. Benchmark 不能跨论文排名:同为 RoboTwin 2.0,π0.5 在 MotuBrain 论文里是 82.7/76.8,在 GigaWorld-Policy 论文的协议下约 0.43/0.44 Grok Bot 对话。MotuBrain 称 WorldArena 中视频感知质量与下游动作成功率相关性仅约 r=0.36,"视频逼真 ≠ 控制更好" Grok Bot 对话。
  8. 2025–2026 七个趋势:VLA 从行为克隆转向经验学习(π*0.6 / RECAP);人类视频成为主要预训练资源;世界建模从像素空间迁到隐空间(VLA-JEPA、Being-H0.7);WAM 采用 VLA 式 action-only 快速路径(MotuBrain、GigaWorld-Policy)——"训练时像世界模型,部署时像 VLA";VLA 也越来越像世界模型(GR00T N1 用视频生成扩数据);长时程靠记忆/上下文 + 分层(Gemini Robotics 2 的 ER 2、RoboTTT);端侧部署重新成为架构约束(Gemini Robotics On-Device 2) Grok Bot 对话。
  9. 部署建议:今天实际部署,VLA 生态更成熟;想最大化没见过的物理交互泛化,WAM 假说更有吸引力;但"WAM 已全面胜过 VLA"不成立,一项独立鲁棒性研究发现强 VLA(π0.5)在部分扰动下与 WAM 相当 Grok Bot 对话。

关键数字(据报告;状态列为本 Agent 的核对结果)

模型 类型 报告给的数字 状态
RT-2(PaLI-X 55B / PaLM-E 12B) VLA unseen 平均 62% vs RT-1 32%;动作表示为 token 架构 ✅ 摘要一致(arXiv 2307.15818);62%/32% 待核实(摘要未给)
OpenVLA VLA 7B;Llama 2 + DINOv2/SigLIP;970k 条真实机器人示范;29 任务比 RT-2-X(55B)高 16.5 个百分点,参数少约 7×;bf16 16.8 GB,int4 7.0 GB 成功率不降 7B/970k/+16.5%/7× ✅ 摘要一致(arXiv 2406.09246);显存数字 待核实
π0 VLA ≈3.3B(VLM + 约 300M action expert);flow matching;7 种机器人构型、68 类任务、>10,000 小时;最高 50 Hz 控制 flow matching + 预训练 VLM ✅ 摘要一致(arXiv 2410.24164);规模/小时数/50 Hz 待核实
π0.5 VLA FAST 离散 token 预训练 + 连续 flow 推理(10 步去噪);未见过的家庭环境测试;GigaWorld 作者 A100 复测约 225 ms 论文存在(arXiv 2504.16054);数字 待核实
π*0.6 / RECAP VLA + RL 示范 + 自主经验 + 人工纠正;最难任务吞吐翻倍以上、失败率约减半 待核实
GR00T N1-2B VLA(双系统) 2.2B(Eagle-2 VLM 约 1.34B);System 2 约 10 Hz,System 1(DiT)控制环 120 Hz;16 步 chunk 在 L40 上 63.9 ms;88 小时遥操作用视频生成扩到 827 小时;预训练约 50,000 H100 GPU 小时 双系统 VLA、混合真机/人类视频/合成数据 ✅ 摘要一致(arXiv 2503.14734);全部数字 待核实
GR00T N1.7 / RoboTTT VLA 2026-04 NVIDIA 以"open reasoning VLA"早期访问发布 N1.7;RoboTTT 把上下文扩到 8K 时间步(约 5 分钟),比 1K 上下文提升 62%,完成 5 分钟十阶段装配 RoboTTT ✅ 2026-10-25 联网补缺:摘要一致(arXiv 2607.15275,NVIDIA,2026-07-16 提交;建在 GR00T N1.7 上,8K 时间步、比 1K 预训练 +62%、比单步基线 +87%、完整完成五分钟十阶段装配);N1.7"2026-04 早期访问" 待核实(查过 2026-10-25)
Gemini Robotics 2 / ER 2 / On-Device 2 VLA + 推理层 2026-07 发布,全身人形控制;ER 2 做数分钟、数百次决策的规划;On-Device 2 少于约 200 例、数小时适配新本体;参数/延迟未公开 待核实(发布日期与 AGI 当前热点 vs 表情/情绪感知(AI 回答 + Tech Intel 核实) 里 Tech Intel 已核实的"Gemini Robotics 2,2026-07-30"一致)
VPP WAM 前驱 CALVIN ABC→D 平均完成长度 4.33(10% 标注数据 3.25);RTX 4090 约 140 ms 待核实
DreamZero WAM 14B 自回归视频扩散;新动作/任务泛化比 SOTA VLA 高 >2×;10–20 分钟纯视频示范带来 >42% 相对提升;30 分钟 play 数据适配新本体;朴素 5.7 s/chunk,优化后约 7 Hz 闭环 14B / >2× / 7 Hz / >42% / 10–20 分钟 / 30 分钟 ✅ 摘要一致(arXiv 2602.15922,NVIDIA);5.7 s 待核实
Cosmos Policy WAM 由 Cosmos-Predict2 单阶段后训练,动作/未来图像/价值都编码为隐帧;LIBERO 98.5%、RoboCasa 67.1%;GigaWorld A100 复测 1,413 ms 98.5% / 67.1% ✅ 摘要一致(arXiv 2601.16163,NVIDIA + Stanford);1,413 ms 待核实
GigaWorld-Policy action-centered WAM A100 约 360 ms(同机复测:π0.5 225 ms、Cosmos Policy 1,413 ms、Motus 3,231 ms);RoboTwin2.0 约 0.86/0.85 待核实
MotuBrain 统一 WAM 编译 + FP8 + DiT cache + action-only 路径从 4.90 s 降到 0.09 s(约 11.1 Hz);RoboTwin2.0 95.8%/96.1%;50–100 条轨迹适配新人形本体 待核实
Being-H0.7 隐空间 WAM / 混合 训练时用未来信息监督隐查询,部署完全不生成未来帧;约 3–4 ms/控制步(不等于完整前向延迟) 待核实
VLA-JEPA VLA + 隐世界模型 VLA 预训练里加 JEPA 隐空间未来预测目标 待核实
鲁棒性对比研究(LIBERO-Plus / RoboTwin 2.0-Plus) — Cosmos-Policy 82.2%、LingBot-VA 74.2%;π0.5 部分任务可比 待核实

与已有主题的关系

  • 机器人与 AI 硬件开发:之前只有 PCB、Microduck 强化学习、宇树泡沫和"具身智能/VLA 是 AGI 热点";这份报告是第一份系统讲机器人基础模型的资料。
  • 世界模型:AGI 热点资料里的"通用世界模型(Cosmos、Genie、Sora 类)"偏视频/仿真;本报告讲的是用于机器人控制的世界模型(WAM),两页互链。
  • AI 视频生成与 AI 短剧:WAM 直接建立在视频生成模型上(DreamZero 用 Wan 系视频扩散骨干——据 DreamZero 论文;Cosmos Policy 用 Cosmos-Predict2)。

待核实清单

  • 报告没有任何原始链接;上表除 6 篇已对照摘要的论文外,其余数字全部待核实,尤其是:π*0.6 吞吐翻倍、GR00T N1.7 的 2026-04 早期访问发布(查过 2026-10-25,未找到官方出处;RoboTTT 8K / +62% 已于同日按 arXiv 摘要核实)、Gemini Robotics 2 / On-Device 2 细节、GigaWorld-Policy 同机延迟对比、MotuBrain 0.09 s 与 r=0.36、Being-H0.7 3–4 ms、鲁棒性研究 82.2% / 74.2%、OpenVLA 显存数字。
  • MotuBrain、GigaWorld-Policy、Being-H0.7、VLA-JEPA、RoboTTT、LingBot-VA、Motus 的论文本 Agent 没有查找。
  • "VLA 与 WAM 融合成混合架构"是报告的推断。