迈向Physical RSI第一步，具身智能系统RoboCoach如何高效主动纠错？

RSI（Recursive Self-Improvement，递归自我改进）关注系统能否不断发现自身短板、获取新经验，并用新经验提升下一轮表现。然而，当前的具身系统仍高度依赖真机试错和人工决策。随着任务越来越长、技能组合越来越丰富，加之真机数据采集成本高昂，如何让有限的人类参与用在最需要的地方，成为具身 RSI 的核心问题。针对这一问题，RoboCoach 训练世界模型定位长程任务中的薄弱子任务策略，引导人类定向示教并更新对应策略专家，以有限干预实现长程任务最大化的能力提升。

10 月 5 日，斯坦福Shuran Song和Chelsea Finn团队发布的Mulligan也得出了同样的判断：均匀采集是昂贵的浪费。区别在于，Mulligan 把预算投向已观测到的失败状态，RoboCoach 则投向世界模型定位出的薄弱子任务。

视频链接：https://mp.weixin.qq.com/s/inifTqjMXpCOvE98Te6Wgw

(资料图)

本文第一作者为中国人民大学刘嘉俊、清华大学陈奕帆、刘驿超。通讯作者为清华大学自动化系张长水教授，智源青年学者、清华大学自动化系助理研究员崔森（project leader），清华大学交叉信息研究院徐梦迪助理教授。

先看发现

1｜具身 RSI 的核心，是提高固定预算下的有效迭代效率。真实机器人验证和人类示范成本高，系统需要把有限资源用于最有效的改进。RoboCoach 在有限人工示范预算下，将 Franka 的成功率从 13.3% 提升至 75.0%，AgileX 从 40.0% 提升至 83.8%，相比起基线方法有显著效率提升。

2｜具身数据的价值，取决于它与当前具身基础模型的互补程度。数据的价值是能够针对模型当前短板提供新能力。RoboCoach 在真机和仿真共四个平台的实验证明，世界模型定位次优子任务策略后，定向人类示教数据优于传统均匀采集示教数据。

3｜世界模型学习通用的动力学规律，而动作策略则需要兼顾实时性与任务特异性。世界模型利用不同机器人和任务背后的可迁移的动力学规律，在闭环迭代中替代部分真机验证。但机器人策略需要在真实执行中保持实时，同时不同任务往往对应高度特异的技能。

4｜长程任务的组合泛化难题，可能通过子任务策略纠错高效实现。长程任务有指数级的组合复杂度，定向子任务增强可以极大降低人类示教数据需求。RoboCoach 通过复用子任务的技能专家，在四个已有技能重新排序、跨任务拼接或直接接长的 held-out 任务上，取得 35.0% 的平均成功率，而对应的共享策略基线为0%。

01 具身 RSI 的难点

长程任务如何完成具身策略的补教纠错

很多机器人已经可以学会抓取、放置、按压、推拉等短程行为。难点在于，真实需求通常不是执行一个孤立动作，而是根据目标把多个行为组织起来。例如，同样是“按按钮”，有时先按绿色再按红色，有时顺序相反；同样是“放置”，可能要放进抽屉、鞋盒或杯子，还要与后续的关门、倒水动作衔接。

仅从组合数量看，如果有 m 类技能，长度为 L 的任务在每一步都能选择其中任意一类，那么理论上可排列出的技能序列就有 m^L 种。真实任务还会增加物体、位置与执行状态的变化。逐条覆盖完整路线，显然不是积累机器人经验的理想方式。

RoboCoach 的切入点，是把完整任务的学习需求重新落到可复用的子任务上。长程任务可以很长，但一次改进未必需要覆盖整条路线。如果机器人已经稳定完成拿取和摆放，只在“拉动灯绳”上反复失误，那么下一轮训练应该优先改善拉动技能，并让这项能力随后服务于其他任务组合。

02 RoboCoach 设计思路

共享预测，专家执行

RoboCoach 将预测和执行分开处理：通用世界模型积累跨任务的交互知识，模块化策略承接具体任务中的执行与更新。

通用世界模型：理解多种机器人与任务中的物理变化

CoachWorld 是团队构建的动作条件世界模型。它接收历史视觉观察、任务文本、机器人动作以及相机几何信息，预测这些动作会带来怎样的后续视觉变化。末端执行器移动、夹爪开合、物体接触和位置变化，是不同任务共享的预测对象。

为了让同一个模型覆盖单臂和双臂机器人，CoachWorld 使用统一的双槽末端执行器表示：每个槽位记录三维位置、6D 旋转、夹爪状态和有效性标记。单臂机器人使用一个槽位，双臂机器人使用两个槽位，动作表征得到有效统一。

相机几何则负责把机器人坐标中的动作与每个视角里的图像对应起来：机器人坐标系中的同一段移动，从不同视角看可能朝向完全不同的图像方向移动，距离也会有所差异。先把三维末端轨迹投影到对应相机，再用轨迹与相机信息约束视频生成，动作指令才有了与画面位置对应的依据。

这一设计让不同本体的数据能够进入共享的预测空间。CoachWorld 基于Wan2.2 TI2V-5B初始化，使用接近500 小时交互数据训练，其中不仅包括成功示范，也纳入了失败、自由交互和次优轨迹。

CoachWorld 将末端执行器动作与相机几何对齐，以历史图像、文本指令和未来动作轨迹为条件预测下一段视频。单臂和双臂动作可以使用统一接口。

模块化策略专家：兼顾具身任务的实时性与任务特异性

世界模型要预测的是动作后果，执行策略则必须在当前本体、任务阶段和控制时序下给出下一步动作。前者需要充分共享交互知识，后者需要保留可以局部调整的参数位置和上下文接口。

因此，RoboCoach 在共享 VLA 底座之上组织可单独适配的技能专家。具体实验中，LIBERO 和 Franka 使用π₀.₅底座，RoboTwin 和 AgileX 使用MolmoAct2底座。专家以独立的LoRA adapter承载需要学习的能力。每轮辅导只更新选中的专家，其他专家与共享骨干保持不变。

这里的“技能专家”不是为每一句任务指令都训练一个全新策略。例如，“按红色按钮”和“按绿色按钮”指向不同对象，但都可以调用同一个按压专家。“子任务—专家对”将当前任务里的具体操作与一个可复用模块对应起来：子任务说明要做什么、对哪个对象做，专家负责执行，也接收该行为的新示范。

模块化的是策略的适配与更新位置，而不是把同一种物理交互能力按任务名称割裂开。一次按压能力的改善，可以在不同按钮和任务顺序中继续被调用。

执行时，专家随子任务切换；学习时，新示范进入对应专家。这样，任务分解同时规定了怎样完成任务，以及失败后怎样继续学习。

RIDI：机器人怎样获得一张具体的“补课单”？

RoboCoach 将教练过程组织为 Route—Imagine—Diagnose—Improve（RIDI） 四个步骤。以下以“拿茶包—放入杯中—倒水”为例。

Route：把长程指令转成可执行的子任务路线

路由器根据任务指令、当前视觉状态、已有技能词表，以及已经完成的任务前缀，决定下一项子任务，并派发给对应专家。

Imagine：让当前策略在世界模型中闭环试跑

当前技能专家先根据观察输出动作，动作被转换为末端执行器轨迹，CoachWorld 再预测执行这些动作后的下一段视频；生成的画面又返回给策略，决定下一段动作。如此反复，形成policy-in-the-loop 的闭环想象执行。

Diagnose：用进度判别器定位首先停下来的环节

每产生一段预测视频，进度判别器就会结合当前子任务和视觉序列给出完成进度。达到完成阈值后，系统进入下一个子任务。如果直到规定时限仍未完成，便记录这次执行中的首个超时子任务及其专家。

视频链接：https://mp.weixin.qq.com/s/inifTqjMXpCOvE98Te6Wgw

拿茶包失败：真实执行（上）与 CoachWorld 想象执行（下）都没有拿起茶包，进度判别器始终未确认“拿茶包”完成，系统据此请求抓取示范。

Improve：把失败统计变成人类可以照着执行的数据请求

系统把不同任务的首个超时记录汇总为一份 scorecard。它不仅显示整体想象成功率，还能展示各子任务的到达情况、失败发生的位置、进度曲线以及代表性失败视频。采集人员结合失败视频完成安全检查与示范采集。

视频链接：https://mp.weixin.qq.com/s/inifTqjMXpCOvE98Te6Wgw

评分卡从各任务的想象成功率和高频超时目标出发，可以下钻到一次具体失败：看到当时的视频、进度曲线和专家切换记录。每条数据采集请求都能对应到执行证据。

视频链接：https://mp.weixin.qq.com/s/inifTqjMXpCOvE98Te6Wgw

定向补教后，只更新抓取专家，放置与倒水专家保持不变；真实执行与 CoachWorld 中都依次完成拿茶包、放入杯中和倒水。

到这里，RIDI 的核心逻辑已经完整：把“整条任务失败”翻译为“哪一个子任务需要新增示范、由哪个专家学习”。接下来需要通过实验回答，这位教练是否看得准、教得对，最终能否让机器人真正变强。

03 RoboCoach

各模块验证

研究团队依次实验验证以下模块：世界模型是否跟随动作预测物理交互且反映实际部署，进度判别器能否在这些画面中判断子任务的完成情况。

1. 世界模型：CoachWorld 预测较长动作执行

团队在 held-out 测试集上进行完整片段预测。所有模型使用一致的历史图像和未来动作条件，比较视觉保真度、末端执行器轨迹跟随效果，以及人工评估的物理规律与指令符合程度。

在 DROID-180 评测集上，混合领域训练的 CoachWorld 在七项主要指标中的六项取得最优，包括 LPIPS0.0996、FVD51.71、三项末端轨迹指标和指令遵循评分。在 Lab Franka-180 上，LPIPS 为0.1712，同样是对比方法中的最低值。

项目主页还提供了动作控制示例，以及真实执行与模型预测的长时序对照。其中展示的最长闭环例子可达85.8 秒：模型分段生成后续画面，并将预测结果持续反馈给策略。

视频链接：https://mp.weixin.qq.com/s/inifTqjMXpCOvE98Te6Wgw

合上电脑，再拉台灯拉绳：真实执行（左）与 CoachWorld 闭环预测（右），全程 85.8 秒。

同时团队进一步把完整任务成功率作为衡量标准，在 LIBERO、RoboTwin、Franka 和 AgileX 的22 个任务—策略组合上，对比策略在 CoachWorld 中闭环试跑和在实际环境中部署的结果。

最终得到Spearman 相关系数 0.840、Pearson 相关系数 0.820。这表明，在所评估的任务组合中，世界模型中的成功率能够较好反映策略之间的性能差异。RoboCoach 因而可以在大量真机补教之前，先通过想象执行筛选需要优先关注的任务和行为。

22 个任务—策略组合上的想象成功率与实际部署成功率。四类环境采用同一坐标系和拟合趋势，展示世界模型对策略表现差异的刻画能力。

2. 进度判别器：提供子任务级任务完成信号

RIDI 在执行中还需要决定何时切换专家。如果茶包还没拿稳就切换到放置，后续动作会从错误状态开始；已经完成抓取却迟迟不切换，也会阻碍任务推进。因此，我们将“能否及时判断当前子任务完成”单独拿出来评测。

在相同的评测协议下，团队比较了六种判别方法。所有方法只读取当前时刻及此前的观察，完成阈值在独立数据上校准后固定。下表中的 F1 评估相邻阶段之间“当前子任务是否完成、是否应当切换”的二分类决策。

LIV、Contrastive λ、TOPReward 和 SuccessVQA 按论文的统一因果观察协议适配。

其中，RoboMeter 是一个基于视觉轨迹进行进度实时评判的方法，被用于 RoboCoach 的进度判别器。

04 三轮补教纠错、有限示范

能提升多少完整任务成功率？

四个评测域，统一的新增示范预算

仿真包含LIBERO-Long 的 10 个长程任务和RoboTwin 2.0 的 5 个双臂任务。两套仿真环境分别涉及物体放置、开关抽屉、操作炉灶、排列积木、叠碗等任务。真实机器人包含Franka Research 3 的 3 个任务与 AgileX 双臂平台的 4 个任务。真机则覆盖开关与灯绳、连续按压按钮、放面包并盖锅盖、将方块放进抽屉、把鞋装盒、擦桌摆盘，以及泡茶等具有明确先后关系的操作。

各方法从同一初始策略出发，在固定预算下进行三轮更新。每轮仿真新增100 条合格子任务示范，每个真机平台新增50 条。实验比较的是同样数量的新数据如何被分配、被谁使用，而非单纯增加训练量。

1. 四个评测域的完整结果

在 Franka 上，RoboCoach 三轮结果依次为13.3% → 46.7% → 68.3% → 75.0%；相同数据预算下，均匀采集基线为13.3% → 15.0% → 20.0% → 30.0%。

在 AgileX 上，RoboCoach 的变化为40.0% → 72.5% → 83.8% → 83.8%，而基线为40.0% → 48.8% → 46.3% → 47.5%。早期辅导轮次就可以看到完整任务能力的大幅变化。

LIBERO、RoboTwin、Franka、AgileX 四个评测域的完整任务成功率曲线。同样的三轮预算下，RoboCoach 的整体效果最为突出。

2. 不同真机任务策略具体迭代了什么

只看平台平均值，仍然会遮住任务层面的变化。以第三轮结果为例：

例如泡茶任务，初始完整成功率只有10%，三轮后 RoboCoach 达到90%，均匀采集基线为20%。摆台任务则从 65% 提高到 100%。

05 增强后的技能

具备更好的组合泛化能力

如果每一种技能只能用于一条固定路线，那么遇到新指令仍然需要重新采集长程示范。模块化学习真正有吸引力的地方，是局部补强可以被新的任务组合复用。

团队在两类真实机器人上构造了四条未参与策略训练和辅导的完整任务路线，分别考察长程续接、跨任务拼接和已有技能重排序：

四条新路线的平均成功率为35.0%；均匀采集并更新共享 adapter 的基线在这四条路线中为0%。其中，“先摆台再泡茶”把两组操作串接成一条更长的任务，RoboCoach 在 20 次真机测试中成功 13 次。

视频链接：https://mp.weixin.qq.com/s/inifTqjMXpCOvE98Te6Wgw

四种此前未见过的任务路线。已经经过定向辅导的专家，被重新安排到更长的操作链、不同任务拼接和新的顺序中。

这一组实验验证了团队在设计中坚持的另一点：技能应该成为可以反复调用、能够在新任务里继续产生价值的能力单元。 对长程任务来说，改进一个薄弱技能，受益的不一定只是一条训练路线，也可能是以后所有需要这项行为的任务组合。

06 展望

从主动补教纠错走向具身 RSI

本工作希望回答“具身系统如何高效主动纠错”，Shuran Song 和 Chelsea Finn 团队提出 的 Mulligan 把"从哪儿失败的状态开始"变成可优化变量，让每一轮采集都落在策略真正会翻车的地方。当失败集中在少数初始状态时，从这些状态起采，比均匀撒点更快地把预算换成能力。RoboCoach 把"失败属于哪个子技能"变成可查询对象，让每一份示教都进到它该进的专家里。当一条长程任务由多个子技能串成时，把失败定位到具体子任务与专家，比笼统地重训整条路线更省数据。

我们期待具身 RSI 系统的下一步，是一个更无人化的闭环：一个具备强物理推理能力的世界模型，用期望失败状态决定"在哪采"，用进度监控诊断决定"采什么、更新谁"，而人类只需要在其中最关键的一步做一次示范示教。

论文与项目资源

• 论文： Jiajun Liu, Yifan Chen, Yichao Liu, Jiayi Zhang, Ruoqu Chen, Shaoxuan Xie, Guocai Yao, Mengdi Xu, Sen Cui, Changshui Zhang. RoboCoach: World Models as Active Coaches for Compositional Robot Skills. arXiv:2609.39685（2026）
• 论文正文： https://arxiv.org/abs/2609.39685
• 项目主页与更多视频： https://robocoach-ai.github.io/
• CoachWorld 开源代码： https://github.com/RoboCoach-AI/CoachWorld
• 预训练权重： https://huggingface.co/JEdward/CoachWorld
• 本文提到的相关工作： Lars Ankile, Perry Dong, Rohan Bhowmik, Aneesh Muppidi, David D. Yuan, Shuran Song, Chelsea Finn. Mulligan: Performance-Guided Data Collection for Efficient On-Robot Learning. arXiv:2610.05882（2026）
• Mulligan 论文正文： https://arxiv.org/abs/2610.05882