TaskGraph 接入与真实复盘已完成
2026.10.20 · 双臂操作研究从执行记录
到候选改进。
roboRSI 把机器人轨迹整理为任务阶段与恢复候选,让模型带着可核对的执行证据,提出下一版策略框架的改动。
已完成反馈接入与四项文本提案。
候选的配对选择、继承和性能收益尚待验证。

侧录来自历史经验,三个分母分别报告。
ROLLOUT LIBRARY
75 个回合,
225 路完整录像。
五个任务、五轮布局与三种架构。每个回合保留头部和双腕视角,成功与失败均可筛选。
没有匹配的回合。请调整筛选条件。
没有匹配的录像,已保留全部原始记录。请更换筛选条件。
一个回合的三个视角不计为三个实验。TaskGraph 历史分析来自动作重放,链接的原录像仅用于同动作编号的参考。
TASKGRAPH EXPLORER
看见阶段转换,
沿着实际记录回到动作。
76 份任务图可切换。播放时高亮当前节点与转换,点击节点可定位第一次到访,也可逐段查看重复路径。
原生同次采集:节点、动作与录像按记录对齐。
节点保留阶段与进度标签,同名阶段可能属于不同状态。位置不表示物理空间;阶段标签、图环和恢复候选均不替代原生成功或人工核验。
PROCESS FILMS
播放执行过程,
也能查看流程怎样形成。
任务图动画使用实际节点、边与动作记录。讲解动画和跨轮录像节选各自标明范围,不绘制未经验证的性能提升。
METHOD
回合结束后,
经验进入研究流程。
在线策略根据观测行动。TaskGraph 在 CPU 上分析已经发生的执行,再把摘要送入复盘与候选入口。
已有原生证据
先保存独立结果,再处理轨迹。
回合后的请求绑定动作、实测状态、源码与原生结果。处理状态与任务成功分开记录,失败回合也能进入复盘。
在线权重保持冻结,TaskGraph 不进入实时动作选择。
查看完整方法图 ↗A RECORDED CASE
同一条轨迹,
对照动作、任务图与观察。
一次笔筒诊断回合。真实 Astra 复盘使用六个时刻、三路相机共十八帧采样,形成四项改进建议。
点击采样时点定位录像;切换相机保留当前视频时间。
自动阶段轨迹22 个片段 · 几何规则推断
本回合为 smoke,研究改进资格为 false。它验证真实复盘能消费图摘要与图像,四项提案尚未物化或继承。视频与仿真时间按记录分别呈现。
RECOVERY SCREENING
局部恢复,
可以发生在失败的回合里。
75 份既有重放侧录经过本地 SDK 筛选。18 个恢复候选中,10 个最终失败,1 个没有图环。
| 编号 | 任务 | 自动分类 | 原实验终局 | 重放终局 | 图环 |
|---|
这个任务下没有所选类别的记录。可更换类别或重置筛选。
独立人工标签为 0,accuracy、precision、recall 保持空值。这里的 75 份侧录来自历史经验,不是新增 75 次机器人实验。
FROM REVIEW TO PROPOSAL
一次真实复盘,
形成四项可检验的改动假设。
候选来自实际复盘输出。当前阶段是文本提案,下一步需要新开发证据、可执行候选与独立比较。
区分命令、测量与物体状态
分别记录请求夹爪值、保持命令、控制回显、实测开度、物体附着和支撑证据。
- 为什么提出
- 运动参数未必改变夹爪命令,机械稳定也未建立物体支撑证据。
- 需要验证
- 检查命令保持与反馈来源,再验证附着及支撑判断。
ARCHITECTURE STUDY
保留已有架构结果,
明确新接入的测量边界。
五任务、五轮、三种架构共 75 回合。它们提供执行基础,不用于估计 TaskGraph 新接入的收益。
混合与 H₀ 的总体成功率均为 40%,双方共同成功 4 个,单方成功各 6 个。混合组 10 次成功中有 5 次未执行 VLA。结果跨四个源码版本。
查看所选回合及源码 75 条
| 轮次 | 任务 | 架构 | Score | 成功 | 动作 | 源码 SHA |
|---|
REAL ROBOT · REALBOT · 2026.10.20
真机:五支笔,
插入四支。
右手持筒,左手取笔。Astra 决定每一步,调用检测与双臂技能;技能展开为普通动作,逐 tick 经过安全层。第五支落在筒外,操作员停止。无遥操作,中途有三条文字提示。
01检测桌面后,右手侧夹笔筒,端到胸前。
02左手在笔上方张开,下探,夹起。
03笔下端对准筒口轴线,插入。第一支。
04第四支被安全层拦下,退开,从更高处重新规划后插入。
05筒口已拥挤,技能仍对准中心。第五支落在筒外。
同一回合,右腕近景。
右腕相机正对筒口。与上方主视频同一时钟,取自 MCAP 原始 H264。
左手把笔竖直送入筒口,松开,笔立住。
插入被拒后退开,再从上方插入。
笔碰到筒内已有的笔,从右侧倒下。
给 Astra 的工具。
目标、顺序与成败核对由 Astra 决定;技能只管几何与姿态,开始时按实测关节和当前检测重新规划。

detect_objects 返回的编号图(运行开始时):平放的笔给出轴线,直立的笔筒给出筒口圆。- detect_objects
- 胸部 RGB-D → 桌面网格聚类 → 筒口圆拟合 → 编号图
- grasp_holder
- 定位筒身 → 肘部外展 → 侧向夹持 → 提起
- present_holder
- 端到胸前递交区 → 筒口朝上
- pick_and_insert
- 上方张开 → 下探夹取 → 提到安全高度 → 下端对准轴线 → 插入 → 松开退开
- place_holder
- 放回桌面 → 双手回位
Astra 自己的修正。
取自第四次运行的决策记录:Astra 每一步写下的理由与记忆(译为中文)。标注了是否发生在操作员文字提示之后。
- 第二支
“两次居中抓取的规划都失败了;改试靠近笔左端的倾斜抓取。”先做 IK 探测,通过后夹起。
自主 · 插入时手指碰到筒口,退开,未成功。
- 第三支起
“左手离右手只有 19 cm。先抬高 100 mm,再退 200 mm,超过 35 cm 后再取下一支。”此后每次取笔前都照做。
15:55 提示后形成,之后自行沿用。
- 第四支
“插入被拦下:转动时两臂间距会低于 0.5 cm。先向左 60 mm、向上 80 mm 退开,再从更高处重新规划插入。”
自主 · 重新规划后插入成功。
- 第五支
“笔落在笔筒右侧。右腕画面里粗笔左边有空位;把笔筒向左倾 10°,让空位朝向来笔。”
16:07 提示后 · 倾斜途中操作员停止运行。
运行之间的代码修正(闭爪指尖前移计入规划、双手靠近时肘部外展、夹爪读数异常标为未核实)由工程人员根据失败记录完成,见报告 10.4。
跨回合:Astra 读失败,提出 harness 改法。
每次失败后,只给 Astra 当时运行的 harness 代码、原始日志与图像,不给工程修正。每例一次调用、不重试;两名独立评审对照实际代码改动判定。
- 运行 1
取笔下探,下方指尖低于桌面,被安全层拦下
Astra:“按两个指尖和实际张开量规划抓笔接触。”
工程修正:只张开到笔宽 +25 mm,按指尖位置定位手腕,下方指尖离桌 6 mm。
核心改法一致 - 运行 2
夹筒反复被双手姿态规则拒绝
Astra:“去掉姿态校验对‘另一只手是否持物’的依赖:所有技能都要传入双臂。”
工程修正:所有技能都按双手情形规划,靠近时保持肘部外展。
核心改法一致 - 运行 3
夹住了笔筒,读数为零,被判空抓
Astra:“引入明确的‘抓取未确认’状态,先小幅试抬确认附着,再登记为持物。”
工程修正:读数异常标为未核实,照常登记并抬起,交给模型看腕部图像。
机理一致,Astra 更保守 - 运行 4
插入时两臂间距被拦;第五支落在筒外
Astra:“给规划器一个与运行时相同的碰撞检查,选候选前先检查两臂。”
工程修正(草稿,未上机):规划时调用安全层的两臂间距,保留 1 cm。
核心改法一致
工程没发现、Astra 指出的
- 持物判定
held()的“被阻挡”比较方向反了。运行 3、4 两次独立指出,代码核对属实。 - 夹爪补偿的回退子步骤不在“运动受阻”的处理范围内,可能是运行 1 以未捕获异常结束的原因。
- 手里还持着笔筒时,回合结束会自动回位。
盲审在事后进行:工程修正在先,Astra 是从同样的证据独立得出相同改法。引文为 Astra 原句的中译;四次请求的完整输出见 盲审记录。
连续演示与同回合近景
胸部视角连续约 41 分钟,同一时钟下另有两腕与头部双目录像;本节给出三段右腕近景。未完成放回笔筒。
恢复与失败片段
第四支是被拦下后的恢复,第五支是失败负例。另有三次运行在插入前停止。尚无独立标签。
观测、动作与结果
每 tick 的命令目标、安全层结论与到位误差,约 190 Hz 双臂状态,每次模型输入与输出,运行时代码快照。仍缺多回合成功率与无提示对照。
单回合演示,不构成成功率;三条文字提示属于人工介入,用于训练或比较前须单独标注。父子配对真机实验须在候选物化后另行设计。