面向物理 AI 的 Ego Data

面向物理 AI 的第一视角任务数据

保留物理交互、接触、失败与恢复过程的第一视角任务证据。

Ego Data 是从操作者行动视角采集的同步第一视角任务数据。它不仅记录人看到了什么,也同时保留手部与工具运动、力觉、接触、任务状态、失败、恢复与结果。

Ego Data 是从操作者行动视角采集的同步第一视角任务数据。它不仅记录人看到了什么,也同时保留手部与工具运动、力觉、接触、任务状态、失败、恢复与结果。

Ego Data 保留什么

当物理证据共享同一个任务时钟,记录才具有训练价值。

视频只能描述表象。物理 AI 需要把感知、动作、接触与任务结果关联起来的同步证据。

01

第一视角与空间视频

多视点第一视角视频保留操作者视野、任务物体、工作空间与持续变化的空间上下文。

02

手部、工具与动作运动

位姿和轨迹描述操作如何展开,而不只是任务最终停在了哪里。

03

力觉与接触

力觉、接触事件和状态变化揭示物理交互何时开始,以及动作如何改变环境。

04

失败、恢复与结果

任务片段保留执行为什么偏离、如何恢复,以及任务最终是否成功。

观测与操作

Ego Data 是输入,操作级数据是编译后的资产。

01

观测级 Ego Data

任务真实发生过程的同步记录。

  • 第一视角视频
  • 运动与位姿
  • 传感器与力觉信号
  • 任务结果

02

操作级数据

解释任务如何执行的任务原生数据资产。

  • 任务阶段与边界
  • 状态与接触转移
  • 失败原因与恢复路径
  • 质量规则与评测案例

从采集到资产

真实任务接口负责保留证据,物理数据编译器负责让证据可用。

智域基石对齐多模态信号、重建任务结构、理解物理因果、执行质量门控,并导出用于训练和评测的版本化数据资产。

01

执行

人类佩戴多视点采集设备,在真实空间中完成一个具体任务。

02

同步

视频、位姿、动作、力觉、接触与结果在统一任务时钟下对齐。

03

编译

Physical AI DBMS 与物理因果模型将任务片段转化为任务原生的操作级数据。

04

交付

版本化数据集、失败案例、评测资产与训练格式成为可复用输出。

服务场景

同一套物理证据,可以服务多个物理 AI 工作流。

预训练与微调

使用多样化的任务阶段、接触和结果训练策略模型与多模态模型。

评测与回归

从成功、失败、边缘案例与恢复过程中构建可复现评测资产。

失败分析

按照任务状态、接触转移、失败原因或恢复模式检索任务片段。

智能即服务

智能体可通过 Data APIs 调用任务检索、失败归因、质量检查与评测生成能力。

Ego Data 常见问题

Ego Data 等同于第一视角视频吗?

不等同。第一视角视频只是其中一种模态。面向物理 AI 的 Ego Data 应同步视频、运动、位姿、力觉、接触、状态、任务上下文与结果。

Ego Data 已经是操作级数据吗?

不是。Ego Data 是观测级任务证据,经过任务结构、物理因果、质量、血缘与评测上下文编译后,才成为操作级数据。

人类 Ego Data 能直接训练机器人吗?

它可支持预训练和表征学习,但人与机器人本体不同,仍需要标定、任务 schema、动作映射、质量控制和机器人适配。

智域基石可以交付哪些格式?

根据任务与模型工作流,可同时交付原始媒体、同步记录,以及 MCAP、HDF5、Zarr 和兼容 LeRobot 的训练数据结构。

从一个真实的人类任务开始。

看看第一视角任务证据如何成为物理 AI 训练和评测所需的操作级数据。