什么是面向物理 AI 的 Ego Data？
一份关于第一视角任务数据、同步物理证据，以及 Ego Data 如何成为物理 AI 训练和评测所需操作级数据的实用指南。
Ego Data 不只是第一视角视频
在物理 AI 中，Ego Data 是从操作者行动视角采集的同步任务证据。第一视角相机很重要，但单独的视频并不够。一段有价值的任务片段，需要把操作者看到的画面，与手部和工具运动、位姿、力觉、接触、任务状态、失败、恢复和结果同步关联起来。
这一差异非常重要，因为机器人无法只通过外观学会物理任务。模型还需要理解动作如何改变环境、接触何时开始、执行为什么失败，以及什么样的恢复动作能够让任务重新走向成功。
智域基石使用“面向物理 AI 的 Ego Data”描述这层更完整的任务证据。可以先阅读面向物理 AI 的第一视角任务数据专题页，了解它与智域基石产品体系的关系。
为什么物理 AI 需要第一视角
很多真实任务最适合从人类操作者的视角进行观察。头戴式多视点设备可以保留：
- 操作者当前实际看到的任务物体；
- 手、工具与工作空间之间的关系；
- 人接近、接触和操作物体时的视角变化；
- 固定外部相机可能被遮挡或遗漏的任务上下文；
- 从不确定状态逐步修正并完成任务的过程。
第一视角不会取代外部相机、机器人遥测或环境传感器。它提供的是以任务执行者为中心的视角，并可与其他信号同步。
一段任务片段需要保留什么
面向物理 AI 的任务片段，应让多种物理证据共享同一个任务时钟。
第一视角与空间视频
多视点视频保留操作者视野、任务物体、周边约束和持续变化的空间上下文。多个镜头也有助于空间重建，并降低手或工具遮挡关键交互的风险。
手部、工具与动作运动
位姿、手部轨迹和工具运动描述任务如何展开。它们让静态观测变成具有方向、时序、修正过程和任务意图的操作证据。
力觉、状态与接触
真实物理交互往往依赖 RGB 视频无法可靠推断的变量。力觉、接触事件、本体状态和物体状态变化，能够标识动作何时真正作用于世界。
失败、恢复与结果
只有成功示教并不够。失败和恢复片段揭示任务边界、物理约束、错误模式和纠正策略，是模型评测、回归验证和鲁棒策略学习的重要资产。
智域基石的真实任务接口用于把这些信号保留为同步的原始任务片段。
Ego Data 与观测级数据
Ego Data 通常仍然属于观测级数据。即使记录已经具备多模态和精确同步，它首先描述的仍是任务真实发生的过程。
观测证据可以回答：
- 操作者看到了什么？
- 手和工具如何运动？
- 力觉或接触何时发生变化？
- 最终任务结果是什么？
这些记录是重要输入，但不会自动形成可复用的任务结构。
Ego Data 如何成为操作级数据
操作级数据需要解释任务如何被训练、评测、查询和复用，因此必须经过编译过程。
智域基石的数据编译系统会增加：
- 多模态证据之间的同步与标定；
- 具有物理意义的任务阶段与边界；
- 将动作与环境变化关联起来的状态和接触转移；
- 不止于通过或失败标签的失败归因与恢复结构；
- 让数据可验证、可复现的质量门控与血缘；
- 面向训练和评测格式的版本化导出。
在这一系统中，Physical AI DBMS 负责组织任务证据并保留血缘，物理因果模型负责理解状态、接触、失败、恢复与结果。Ego Data 是源证据，操作级数据是编译后的资产。
人类 Ego Data 能直接训练机器人吗
人类任务数据可以支持表征学习、预训练、任务理解和模型评测。但人类身体与机器人本体在运动学、动作空间、传感器和控制约束方面并不相同。
因此，真正的数据复用不能只做格式转换，还可能需要：
- 相机与空间标定；
- 手、工具与物体追踪；
- 任务 schema 与阶段定义；
- 动作抽象或本体映射；
- 质量与合规检查；
- 面向具体机器人的微调和验证。
目标不是假设人类数据和机器人数据完全相同，而是把任务中的物理证据保留下来，使模型和下游系统能够理解并利用。
Ego Data 可以服务哪些工作流
经过编译的 Ego Data 可以支持：
- 多模态预训练与微调；
- 任务阶段和接触感知的策略学习；
- 基准与评测资产生成；
- 失败检索和问题归因；
- 恢复案例库；
- 世界模型与物理因果研究；
- 智能体原生的任务检索与智能服务。
根据工作流需要，智域基石可以同时保留原始媒体和同步记录，并导出 MCAP、HDF5、Zarr 以及兼容 LeRobot 的数据集格式。
从人类任务执行到可复用智能
Ego Data 的价值不是生产更多视频，而是从感知转化为动作的位置记录任务。当这些证据经过同步、结构化、物理因果理解、质量控制和版本管理后，就能成为物理 AI 可持续复用的数据基础。
继续阅读面向物理 AI 的第一视角任务数据专题页，或围绕一个具体的人类或机器人任务预约数据演示。