# 真机演示视频与数据缺口 本清单对应 roboRSI 技术报告 v0.4。目标是补齐真机展示、方法证据与后续学习数据。 ## 0. 10 月 20 日进展 10 月 20 日在 RealBot 上完成一个 Astra 插笔回合（报告 10.4 节，摘要见 [evidence/real-robot-20261020.json](evidence/real-robot-20261020.json)）：左手把五支笔中的四支插入右手持握的笔筒，第五支落在筒外后由操作员停止。控制方式为模型自主、动作全部自动批准、无遥操作；人工介入为三条发给模型的文字提示（15:47、15:55、16:07）和最后的停止。当天另有三次运行在插入任何笔之前停止，也保留了完整记录。 | 条目 | 状态 | 依据与缺口 | | --- | --- | --- | | R01 连续真机插笔全景 | 部分满足 | 胸部视角连续录制约 41 分钟，四支插入、收尾前停止；剪辑版取自原始帧、无文字。未放回笔筒 | | R02 同回合近景或双腕 | 满足 | 同一 MCAP 中两腕与头部双目 H264，与胸部帧同一时钟 | | R03 故障、修正、恢复片段 | 部分满足 | 第四支：安全层判定双臂将接触，模型退开后重新规划并插入。尚无独立标签 | | R04 尝试未恢复或失败 | 部分满足 | 第五支落在筒外；第一至三次运行的停止记录。尚无独立标签 | | R05 正常重复操作负例 | 未满足 | 未专门采集 | | R06 父代与候选配对 | 未开始 | 候选尚未物化 | | D01 同步观测、动作与实测状态 | 满足 | 每 tick 命令目标、安全层结论与到位误差；约 190 Hz 双臂状态；每次模型请求与输出 | | D02 模型、harness 与标定身份 | 满足 | 运行时代码快照（不含密钥，SHA-256 见摘要）、世界模型与胸部标定记录在 run.json | | D03 真机 TaskGraph 独立标签 | 未满足 | 未做 | | D04 来源与数据划分 | 待登记 | 单一回合，含人工文字提示，用于训练前须单独标注 | 仍缺的研究证据：逐支的独立结果标注、多回合成功率、提示通道关闭条件下的对照，以及技能层本身的消融。 ## 1. 现有素材能支持什么 | 已核对材料 | 实际来源 | 能支持的说明 | 尚不能支持 | | --- | --- | --- | --- | | 历史笔筒三路成功录像，805 动作 | RoboDojo 仿真 | 分层执行的成功路径 | 真机任务成功 | | 新笔筒诊断三路录像，940 动作 | RoboDojo 仿真 | TaskGraph 接入与真实模型复盘 | 真机恢复或策略改进收益 | | RealBot 标定实验记录 | 使用 RealBot 模型的仿真 | 标定、初始化及控制接口问题 | 实体机器人成功率 | | `claude_ros2` 真机工作区 | 真机控制适配代码与说明 | 控制入口与 harness 扩展 | 物理任务已完成 | | RealBot 抓取转换包中的六个视频 | `general_pickup` 仿真成功回合及截取片段 | 仿真轨迹与离线转换 | 真机抓取验收 | v0.3 编写时检查了 `docs/double7R_Arm/`、RealBot 转换包及其报告，没有核对到真机插笔成功录像和对应同步执行数据。10 月 20 日的回合补上了其中一部分，见第 0 节。 会议要求先取得一至四支笔插入的成功素材，优选完成五支。插入支数与整项任务完成分别判断；历史仿真四支笔任务还包含扶筒、放筒与回位，不能仅凭支数套用它的成功标签。 ## 2. 缺少的视频 | 优先级 | 需要的素材 | 应看清的过程 | 配套说明与验收 | | --- | --- | --- | --- | | P0：会议交付 | 一段连续的真机插笔成功全景 | 初始物体、双手操作、逐次插入、松手后状态与收尾 | 至少如实呈现一至四支，争取五支；逐次支数可核对；明确自主、遥操作或混合控制 | | P0：过程核对 | 上述同一回合的同步近景或双腕录像 | 抓取附着、筒口对准、插入、释放、撤回与支撑 | 与全景有时间对应；视角缺失单列，不能用其他回合画面拼成同步证据 | | P1：恢复机制 | 一段“故障、实际修正、重新取得进展”的连续片段 | 故障发生前后、执行了什么修正、何时恢复 | 同时保留整回合，局部恢复与最终成功分别标注；不要专为拍摄制造危险故障 | | P1：负例 | 一段尝试修正但未恢复、部分完成或最终失败的真机记录 | 失败及结束原因，已有进展是否丢失 | 与成功材料采用相同控制模式和记录标准；不删除失败前后过程 | | P1：语义校验 | 正常重复操作或重新摆放的片段 | 阶段重复但进度增长，或正常状态变化 | 用于检查任务图是否把正常行为误判为故障或恢复 | | P2：收益实验 | 父代与可执行候选的配对真机录像 | 同等条件下两种版本的完整执行 | 需先物化候选、冻结协议和独立判定，当前四项文本建议不足以直接制作“优化前后”结论 | 这些是内容要求，不要求分别拍六个独立视频。同一个完整成功回合若包含可验证的恢复，可以同时满足展示与恢复素材；全景和腕部仍属于同一回合，不增加样本数。 展示版可以剪辑或加速，但应另留原始连续录像，并记录剪辑区间和播放倍率。画面叠加的动作号、阶段和成功标签应来自记录，不能仅依靠编辑者推测。TaskGraph 自动标签与人工确认标签采用不同说明。 ## 3. 每个真机回合缺少的同步数据 | 数据 | 必需字段或内容 | 用途 | | --- | --- | --- | | 回合身份 | episode ID、原始来源家族、任务指令、机器人与夹爪型号、控制模式、日期/时区 | 关联所有媒体，区分自主与辅助，防止同源重复计数 | | 框架与模型 | harness/源码版本、模型/checkpoint、提示与工具配置、执行约束 | 复现条件与父子比较；凭据不进入数据包 | | 初始条件 | 笔的数量和外观、笔筒与场景、初始关节/夹爪/桌面关系、布局记录 | 判断任务范围与比较是否匹配 | | 原始相机流 | 全景及实际使用的腕部/胸部/头部图像，原始分辨率、实际帧率、采集时间 | 视觉核验和训练输入；不把仿真 25 Hz 直接写成真机帧率 | | 公开策略输入 | 每次模型实际收到的图像、状态、历史与任务指令的引用 | 核对决策依据；分析用真值与未来标签另存 | | 请求动作 | decision ID、时间、动作类型、目标坐标系、位置/姿态单位、夹爪意图 | 解释模型请求 | | 实际执行命令 | 限幅/转换后的实际下发值、关节名称与顺序、单位、发送结果和动作 ID | 区分模型请求与真实执行；维度按具体机器人声明 | | 实测状态 | 同时刻关节位置、可用速度、末端位姿、实测夹爪状态、控制器回执 | 检查运动、停滞、保持与命令落实；缺测保持 null | | 标定与时间 | 相机内外参/畸变、坐标变换、TCP/工具约定、时钟来源、时间对齐与延迟 | 对齐图像、机器人和模型；使用真实墙钟及单调时钟，不填造仿真秒 | | 人工介入 | 介入开始/结束、遥操作区间、人工指令、停机/恢复原因 | 区分自主效果与辅助效果，支持分段训练 | | 独立结果 | 实际插入数、是否释放、支撑与收尾、任务判据、人工核验或独立验证来源 | 避免将 `done` 或进程正常退出当作任务成功 | | 媒体与来源清单 | 文件路径、字节哈希、原始/派生关系、剪辑区间 | 使报告与训练片段可以回到原始记录 | 图像和动作需要在同一采样契约中对齐。若用于行为克隆，应能确定每个动作之前可见的公开观测；只有视频而没有动作/状态记录，仍可用于展示或视频复盘，但不足以直接宣称拥有同步动作监督的示范数据。 若控制器提供力/力矩或接触测量，保留单位、坐标系与有效状态；没有时不补造力值，也不将图像推断标成已测接触。 ## 4. TaskGraph 在真机上额外缺什么 仿真分析可以读取物体几何状态，真机没有同等的物体真值。需要声明状态来自视觉估计、外部测量还是人工标注，并保留置信度与缺失情况。笔筒插件的几何阈值、平滑窗口和参考点需按真机标定与实际采样率检查，不能直接宣称仿真规则已经迁移有效。 还缺少独立的故障与恢复标签：故障前状态、故障时点、实际修正动作、恢复进展时点，以及最终任务结果。核验者应先看连续录像和实测记录，不先读取模型预测；无法确认时标为待复核。自动候选、人工标签和模型复盘文字分别保存。 需要覆盖局部恢复但最终失败、无环恢复、尝试未恢复和正常重复操作。未取得足够独立标签前，真机恢复检测的准确率、精确率和召回率均保持未测量。 ## 5. 四项候选建议各需要补什么 | 候选 | 真机证据缺口 | 建议重点记录 | | --- | --- | --- | | C1 反馈来源 | 夹爪请求、控制回显、实测开度与物体附着/支撑尚未形成同步核验 | 同步录像与命令/回执/测量，标记握持和松手后的物体状态 | | C2 阶段间核验 | 释放、撤回前是否有足够支撑/容纳证据，缺少独立标签 | 同步全景和近景；释放前、释放后、撤回后三个连续区间 | | C3 时间一致性 | 真机各传感器、模型输入与执行端的时钟关系 | 原始时间戳、序列号、采集与发送时刻、明确时钟映射 | | C4 观察预算 | 视角调整是否改善定位，还是消耗预算，缺少受控记录 | 观察动作、图像质量、几何查询、剩余额度及实际定位结果 | 在候选尚未物化和冻结之前，先采集这些机制证据即可。它们可帮助形成新开发假设，不代表四项改动已经应用到真机。 ## 6. 最小交付包 先交付一个可核验的真机成功回合：原始连续全景、同回合可用近景、实际插入数、控制模式、人工介入、机器人与 harness 版本，以及同步动作/实测状态/相机时间记录。若暂时只有录像，明确交付资格为“展示与复盘”，不要将训练资格设为 true。 建议目录如下，文件是结构模板，不是已采集的数据： ```text episode-id/ episode.json manifest.json calibration/ video/ observations/ decisions.jsonl executed-actions.jsonl measured-states.jsonl timeline.jsonl interventions.jsonl outcome.json annotations.json ``` 使用 [真机元数据模板](real-demo-template.json)登记字段，并用[采集跟踪表](real-robot-capture-plan.csv)安排补充素材。记录时间采用 Asia/Shanghai 的可读日期和明确的原始时钟，不能依靠文件名推算同步关系。 原始训练数据保留在数据存储中；网站只放审阅后的演示视频、必要片段和来源说明，继续满足 0.5 GB 的站点上限。训练/开发/选择/测试的划分按来源家族预先登记，同一演示的剪辑、重放与派生轨迹不能跨两侧。 ## 7. 何时可以写进报告 - 视频与版本、控制方式、实际支数核对后，可以写“完成某次真机演示”，并说明是否存在辅助。 - 连续故障、修正与后续进展得到独立确认后，可以写“观察到一次局部恢复”。 - 采集和对齐契约通过检查后，可以说明数据支持哪一种训练或复盘用途。 - 父子策略在冻结条件下完成独立比较后，才能报告改进的任务成功率或成本。 一次成功演示不能替代成功率，遥操作成功不能替代自主成功，未经独立标注的 TaskGraph 输出不能替代恢复检测准确率。