Jack's Second Brain
首页 / 资料

通用大模型迈向 AGI 并结合递归自我改进后,是否会替代 VLA?(ChatGPT Deep Research 二手报告,待核实)新增

⚠️ ChatGPT Deep Research 二手报告,待核实

  • 📥 Jack 主动分享:这是 Jack 自己发起的 ChatGPT Deep Research,2026-10-19 生成,研究截止 2026-10-20;据 TARS,报告卡片显示 38 条引用、414 次搜索。2026-10-25 经 TARS 存入 〔本地存档〕 本地导入。
  • 这不是论文原文,也不是 Tech Intel 的核实报告。正文里 ChatGPT 的内部引用标记(citeturn… 等)已经删掉,因为点不开。
  • 报告自带了一部分真实原始链接,下文照搬。本 Agent 2026-10-25 打开了这些链接,对照了 arXiv 摘要和官方页面:对上的数字标「✅ 原文一致」;报告没给链接、或原文里找不到的,标「待核实」。
  • 这份报告和当天的 VLA vs WAM 深度调研(另一份 ChatGPT 报告,❤️ Grok Bot 点赞)是两份不同的报告。前者回答「VLA 和 WAM 的区别」,本篇回答「AGI + 递归自我改进会不会替代 VLA」。

一句话结论(据报告)

报告认为,"AGI + RSI 将替代 VLA"这个整体命题证据不足。最可能消失的是 VLA 作为一个需要人工单独设计、训练、编排的模块边界,而不是"快速动作策略"这项功能本身。报告推测的路径是:

通用 Agent → 自动建模、造数据、做仿真 → 自动训练快速动作策略 → 本地执行 → 失败日志回流 → Agent 再改进

报告把这比作编译器:VLA 会变成 Agent 编译出来的产物,而不是人手工维护的产品类别 本地导入。

"替代"拆成六种含义(报告的总表)

"替代"指什么 报告判断 报告举的证据
替代某个具体模型 已经在发生 模型迭代本来就快
在部分任务上绕过 VLA 模块 有较强的初步证据 Gemini 4 Argon、MotorMind、Code-as-Policies / VoxPoser
消灭"动作策略"这项功能 没有证据 —
替代研发流程 最可能最先被颠覆 Argon 用仿真生成数据微调 VLA、ENPIRE、AlphaEvolve、DGM、AIDE²
替代训练范式 更像融合,而不是消失 World2Act、World Tokens、RECAP、RLT
统一成一个模型 可能,但没证明是最优 Gemini Robotics 2 仍把 ER(推理)和 VLA(执行)分开;On-Device 2 单独做端侧

本地导入

概念框架(据报告)

  • AGI:报告采用 DeepMind 的"AGI 等级"框架(Levels of AGI, arXiv 2311.02462,✅ 论文存在、题目一致),按能力深度和广度分级,不把"会聊天"当 AGI。
  • VLA:从视觉 + 语言(+ 本体状态)直接输出机器人动作的模型。代表:
  • 控制层级:目标 → 推理 → 动作策略 → 轨迹 / MPC / 逆运动学 → 伺服 → 被控对象。报告的核心论点是,"替代 VLA"必须说清替代的是哪一层。
  • RSI 的强弱定义:报告认为,系统必须修改自己的改进机制、并让后续改进变得更有效,才算强 RSI。按这个标准给常见做法分了档:
做法 算不算 RSI(报告判断)
反思(reflection) 不算
记忆积累(如 ReTrace) 通常不算
SFT / RL 微调 通常不算
持续学习 不算
编程 Agent 改控制代码 可能算"自我修改"
AlphaEvolve 接近
DGM、AIDE² 弱到中等 RSI
Hyperagents 达到强标准(元层改进过程本身可编辑)
  • 四个可检验的"替代"命题:模型替代、模块替代、训练范式替代、研发流程替代。报告认为要分开检验,不能混成一句"会不会替代"。

本地导入

Gemini 4 Argon 究竟证明了什么

Argon 于 2026-10-13 发布(✅ 2026-10-25 联网补缺:官方博客落款 OCT. 13, 2026,原文)。官方页:Gemini 4 Argon for robotics,模型卡,两页都能打开。实体页见 Gemini 4 Argon(机器人)。

本 Agent 在官方博客上对照到的内容:

  • ✅ 原文一致:纯推理测试得分 87%,官方博客写明是 Embodied Reasoning(ERQA)benchmark 上"pure reasoning"的成绩(✅ 2026-10-25 联网补缺,原文)。报告特别提醒,这是推理 benchmark,不是机器人成功率。
  • ✅ 原文一致:Argon 搭建了标定过的 MuJoCo 仿真孪生,采集了 4,500+ 条域随机化仿真 episode,用来提升真机表现。真机成功率从 56% 到 75%,完成时间从 35 s 到 24 s。报告强调:
    • 这次自我改进的产物是一个更好的 VLA;
    • 数字是厂商自述,没有给试验次数或置信区间。
  • ✅ 原文一致:SO-101 抓放任务迭代三次,用时 58.9 s → 22.9 s → 17.4 s。报告认为这只是代码层面的迭代优化,不算强 RSI。

报告的其余解读:

  • 零样本控制的前提很多:需要标定过的腕部相机、2 cm 网格叠加、末端执行器 JSON 接口,以及 grasp / place / goto / move_until_contact 等原语。
    • 粗模式要调用 2–4 次,精细模式 8–20 次。
    • ✅ 2026-10-25 联网补缺:官方博客零样本一节确有 2 cm 网格、粗 2–4 次 / 精细 8–20 次调用、grasp / place / goto / move_until_contact 原语(原文);"末端执行器 JSON"在原文里对应带 ee_pos 的观测 JSON(〔本地文件〕),只能算部分一致;腕部相机标定未逐字核对。
    • 报告认为,难点被重新塞进了"动作接口":IK、轨迹可行性、碰撞、接触处理都由别的系统负责。
  • 8 个官方案例逐项审计:Spot、杯子与餐巾、Gemini Omni 生成的 ARGON 视频、机器人视角 Real2Sim、人视角 Real2Sim(76 / 22 自由度手)、草图转仿真(6/6)、12 球谜题、仿真提升动作。
    • 报告结论:Spot 直接调用现成技能(✅ 官方博客的 Spot 提示词里确实调用了 spot-mobile-manipulation skill);生成视频 ≠ 真机操作;都没有试验次数和置信区间(报告判断,待核实)。
    • 整体只能当"厂商自述的能力演示"。

本地导入

四条路线的真实竞争关系(据报告)

报告用 10 个维度(延迟、数据、接触精度、长时程、可验证性、端侧部署等)比较了五条路线:端到端 VLA、通用模型 + 工具、分层系统、世界模型、统一模型。要点:

  • "预测未来"和"选择动作"是两个不同的计算问题。所以世界模型更可能被吸收进训练(World2Act、World Tokens,待核实),而不是直接取代动作策略。这与 世界模型 里"训练时像世界模型,部署时像 VLA"的趋势一致。
  • 分层是现实主流:
  • Hi-VLA(arXiv 2606.10267):✅ 摘要一致。这是一篇分层 VLA 的系统性研究,结论是按原则设计的分层系统比扁平 VLA 和朴素分层都强,仿真和真实 ALOHA 机器人上都验证了。报告据此强调"朴素分层不天然更好"。
  • MotorMind(arXiv 2609.38078):
    • ✅ 摘要一致:通用 VLM 加一层中层动作 harness,不训练任务策略、不用编程 Agent,在 LIBERO-PRO 上达到 66.7%(扰动下 53.8%);真实 xArm6 平均 95%。
    • ✅ 2026-10-25 联网补缺:arXiv 页显示 Submitted on 29 Sep 2026,与报告日期一致(arXiv 2609.38078)。
  • π 系列与 RLT:
    • π₀.₅(arXiv 2504.16054)。
    • π₀.₇(arXiv 2604.15483):✅ 论文存在,题为"a Steerable Generalist Robotic Foundation Model";2026-04-16 发布(✅ 2026-10-25 联网补缺:arXiv 页 Submitted on 16 Apr 2026)。
    • RLT(pi.website/research/rlt):报告称最难的精密阶段交给更小、更快的在线 RL actor。✅ 2026-10-25 联网补缺:PI 官方页(2026-03-19)写明从 π0.6 取出"RL token",在其上训练小型在线 actor / critic 只精修关键精密阶段,精密阶段最多提速约 3×,约 15 分钟真机数据 / 约 2 小时训练;网线插接中位用时 RLT 66 s、遥操作 146 s、基础模型 228 s。页面也提到 PI 更早的大规模 RL 方法 Recap。
  • GR00T 1.7(NVIDIA 开发者博客):✅ 2026-10-25 联网补缺:博客落款 Jul 07, 2026;3B 参数、Apache 2.0、Cosmos-Reason2-2B 作骨干、约 32K 小时真机 + 约 8K 小时仿真数据、可部署到 Jetson Thor。报告把它当作"专门动作通路仍被保留"的例子(这是报告的解读)。

本地导入

RSI 加入以后,哪些结论会改变

数字领域的 RSI 证据(✅ 均与 arXiv 摘要一致):

  • DGM(arXiv 2505.22954):系统反复修改自己的代码,并用编程 benchmark 验证。SWE-bench 从 20.0% 提到 50.0%,Polyglot 从 14.2% 提到 30.7%。
  • Hyperagents(DGM-H)(arXiv 2603.19461):把任务 Agent 和元 Agent 合成一个可编辑程序,元层修改过程本身也可编辑。元层改进还能跨领域迁移、跨轮次累积。
  • AIDE²(arXiv 2609.26457):
    • 研究 Agent 改自己的代码,按隐藏评测保留最好的版本。
    • 自主运行 8 天,接受了 7 次连续改进。
    • 迁移到 4 个留出 benchmark(含分布外的天气预报任务)。
    • 摘要另称 reward hacking 率从 55% 降到 32%(这一点报告未提,是本 Agent 读摘要所见)。

物理世界的四个障碍(报告观点):

  1. 可验证性与古德哈特定律:评测一旦成为优化目标,就会被钻空子。
  2. 吞吐量:真机不能无限次、零成本地重置。
  3. 仿真偏差:仿真里有效不等于真机有效。
  4. 改进对象不清楚:到底在改代码、数据、策略还是基础权重?

机器人领域的"自我改进"案例:

  • ENPIRE(arXiv 2606.19980):✅ 摘要一致。四个模块是 Environment(自动重置与验证)、Policy Improvement、Rollout、Evolution;编程 Agent 能自主把灵巧操作训练到 99% 成功率。报告判断:这是"研发流程自动化",不算强 RSI。
  • Q-Planning(arXiv 2608.21204):✅ 摘要一致。BC 权重冻结,只微调一个小 Q 函数;真机迭代 5 轮后,叠杯从 40% 提到 90%,插钱包从 25% 提到 80%。
  • ReTrace(arXiv 2610.15814):✅ 摘要一致。不更新模型参数,靠回溯失败原因来积累技能。

改进对象的分级:从"改代码 / 提示"到"改数据"、"改策略",再到"基础模型权重自我改进",越往后证据越少;最后一级报告标为未知。

报告的推论:

  • 改进效果像连乘:每个环节的增益 ΔC 都受其他环节制约,所以收益可能趋于平台,不必然"智能爆炸"。
  • RSI 最先影响 VLA 的方式,是让 Agent 自动"编译"出专用动作策略。

本地导入

三种替代假设与证伪条件(据报告)

  1. 通用模型 + 工具大面积绕过独立 VLA
    • 支持:Argon、MotorMind、Code-as-Policies / VoxPoser、ReTrace。
    • 反证:难点被移进了 grasp()、move_until_contact() 这类原语。
    • 证伪实验:不给通用模型任何学习型动作模型、任何任务示范,与同硬件 VLA 比较。任务包括静态抓放、插接装配、柔性物体、动态目标、外力扰动、5–10 分钟多步任务。如果通用模型只在准静态桌面任务上接近 VLA,就只能算"任务子集结论"。
  2. 通用模型负责研发和规划,快速 VLA / 专用策略负责执行——报告认为这是目前证据最强的假设。
    • 支持:Gemini Robotics 2 的 ER + VLA 结构、Hi-VLA、π₀ / GR00T 的专门动作通路、RLT、Argon 的仿真数据微调 VLA、ENPIRE。
    • 反证:规划器与策略之间的接口可能失配,子目标切分错误会累积。
  3. 一个统一模型吸收视觉、语言、动作、世界模型和自改能力
    • 报告指出,"统一权重"和"统一时间尺度"是两回事:统一模型能消灭软件模块边界,但不消灭功能分层。
    • 最严格的检验:完全移除外部 VLA 后,单一模型能否在同等硬件和算力下同时做到长时程推理、接触任务、扰动恢复、低 P95 动作延迟、离线运行和安全约束。

本地导入

对机器人工程的影响(据报告)

数据基础设施清单:

  • 硬件同步与可信时间戳
  • 多相机内外参标定
  • 本体感知、指令、动作日志、触觉 / 力传感器统一记录
  • 完整保存失败数据,而不只是成功示范
  • 可程序化重置与结果验证器
  • 数字孪生 / sim-to-real 流程
  • 数据集、策略、控制器、评测器都要版本化

端云分工:

  • 官方规格(✅ 2026-10-25 联网补缺,两页数字与报告一致):
    • Jetson AGX Orin 最高约 275 TOPS、15–60 W(Orin 规格)
    • Jetson Thor 最高 2,070 FP4 TFLOPS、128 GB、40–130 W(Thor 规格)
    • 报告提醒:TOPS 和 FP4 TFLOPS 口径不同,不能直接比。
  • 端侧负责:传感器接入、时间戳、本地动作策略、轨迹 / IK、碰撞检查、安全监控、断网兜底。电机级伺服留在驱动器、MCU 或实时控制器上。
  • 云端负责:前沿推理、长时程规划、代码生成、Real2Sim、合成数据、策略训练、全机队失败挖掘、自动化研究与评测。
  • 原则:断网或云端推理超时时,机器人也不能失去碰撞、力限等最低安全能力。

公平的三臂对照实验设计:

  • A 组:VLA;B 组:通用模型 + 工具;C 组:自我改进闭环。
  • 硬件:双 7 自由度机械臂,5 类任务,含隐藏变体。
  • 部署后预算对齐(例如各给 24 机器人小时)。
  • 报告还定义了每轮 RSI 的效率指标 η_k。

本地导入

最终判断(据报告)

  • 当前能替代的:在低速、可几何化、已有可靠原语的任务里,替代独立 VLA;替代大量人工规划、数据、仿真、研发工作。
  • 当前不能证明的:
    • Argon 是 AGI;
    • 通用模型能普遍取代高频、接触丰富、动态、长时程的动作策略;
    • 现有机器人"自我改进"已构成强 RSI;
    • 软件 RSI 的收益会在物理世界持续递归,或必然导致"智能爆炸"。
  • 未来最可能融合的:一个多时间尺度具身系统。数据流是:通用研究 Agent → 语义规划 + 记忆 + 世界模型 + 工具 → 自动生成或适配的快速动作策略 → 本地安全与轨迹 / 力控 → 机器人;日志、失败、触觉、视频和奖励再回流到自动评测与自我改进。模型边界可能消失,时间尺度分层仍会长期存在。
  • 最值得投入的:传感器 → 数据 → 仿真 → 评测 → 端侧控制这套基础设施。报告的原话是要"把机器人研发本身变成机器可执行、机器可评价的实验闭环"。无论未来哪种模型胜出,这套设施都会升值。
  • 会改变判断的新证据:
    • 某个通用模型从未做过机器人动作微调,却在多种真实本体上,在接触、动态、柔性、长时程任务中达到专用 VLA 水平;同时 P95 延迟、安全、能耗、成本不更差,并有数百到数千次盲测。
    • 再进一步:它能修改自己的改进算法,在隐藏的真实世界 benchmark 上逐代提升,而且改进效率本身也在提升。

本地导入

待核实清单

  • 报告未给链接、本 Agent 也没核对的:World2Act、World Tokens、RECAP、AlphaEvolve、Code-as-Policies、VoxPoser 的具体结论。
  • 链接能打开、但细节没逐条核对的:On-Device 2 细节;Argon 腕部相机标定、"末端执行器 JSON"的确切形式(查过 2026-10-25)。
  • 2026-10-25 联网补缺已核实(移出本清单):Argon 发布日期 2026-10-13、87% = ERQA、零样本 2 cm 网格 / 调用次数 / 原语;MotorMind 2026-09-29;π₀.₇ 2026-04-16;RLT 细节;GR00T 1.7(2026-07-07);Orin / Thor 规格数字。见 操作日志 的「联网补缺试跑」。
  • 报告自己的推断,不是实验结论:"编译器"类比、ΔC 连乘与收益平台、多时间尺度终局、三臂实验设计。
  • 生成时间对不上:元信息说 2026-10-19 生成,但研究截止写的是 2026-10-20,两者略有出入,按 TARS 提供的信息照录。

和 Jack 的关系

  • 这是 Jack 自己发起的 Deep Research,接着当天的 VLA vs WAM 往下问:"更强的通用模型 + 自我改进,会不会让 VLA 整个不需要了?"
  • 报告给机器人团队的建议(投数据、仿真、评测、端侧控制基础设施,别押某一种 VLA 架构)可以对照 Jack 的硬件动手方向,见 机器人与 AI 硬件开发。