AvalaAvala
开始构建 — 预约演示 / 成为协作者

覆盖范围

在训练之前,先了解数据覆盖了什么。

覆盖范围是每个 Avala 采集任务都遵循的标准:真实场景、众多家庭和采集者、重复检查、可追溯的知情同意,以及每次交付附带的覆盖报告。采集依据一份包含 26 个类别、175 个工作流的目录进行规划。

工作流
175
类别
26

规格表

所有覆盖项目,一目了然。

逐项列出每个项目采集、记录和交付的内容,每项一行。

采集方式
第一视角、遥操作、定制采集设备和实地作业
规划依据
26 个类别下的 175 个工作流
多样性
六个维度,每个维度单独追踪
集中度
在需求说明中按家庭、按采集者分别设定上限
重复检查
文件完全匹配与视频指纹,涵盖交付内部和交付之间
每个序列记录
采集任务、假名化的家庭和采集者 ID、采集设备、标定和知情同意记录
失败与恢复
包括刻意演示和自然发生的失败,标注结果、失败类型和恢复区间
每次交付
对照需求说明的覆盖报告
导出
LeRobot 格式的数据集版本,可通过 Python SDK 或命令行获取

标准

每次交付都遵循的五条规则。

  1. 保持原样的场景

    房间保持人们离开时的样子。信件、手机或随手放的杯子都留在画面中。我们不刻意布置凌乱,也不会为了移动一只碗而清空整张桌子。

  2. 集中度上限

    每个项目都会限制任一家庭和任一采集者在已验收时长中的占比。覆盖报告会显示每次交付相对于这两个上限的情况。

  3. 重复检查

    通过文件完全匹配检查和视频指纹,找出重复和近似重复的序列,范围包括同一次交付内部以及与以往交付之间。

  4. 数据来源

    每个序列都带有其采集任务、假名化的家庭和采集者 ID、采集设备和标定 ID,以及对应的知情同意记录。

  5. 每次交付附带覆盖报告

    每次交付都附带一份报告:按家庭和采集者统计的时长和序列数、房间、家电、任务和动作,以及与需求说明之间的任何缺口。

多样性

覆盖范围按六个独立维度衡量。

为同一个房间、同一个动作增加更多标注,作用不大。每个维度单独追踪,因此一个维度上的缺口不会被另一个维度上的数据量掩盖。

地点与布局
不同的家庭、房间大小、收纳高度、户型和工作台面。
家电与机构
每个序列都记录实际的家电类型、开启机构和操作部件。
物体与负载
形状、尺寸、材质、重量和内容物,从混装的一堆衣物到装满的购物袋。
自然的初始状态
真实使用之后的真实家务:混放的餐具、有生活痕迹的房间、等待清洗的脏衣篮。
人员与视角
不同的采集者、伸手方式和工作高度,与地点分开追踪。
动作与结果
以自然节奏完成的完整状态变化:打开、清空、分类、放置、关闭和复位。

采集模式

不止于按脚本演示。

按脚本的演示让模型看到成功是什么样子。任何覆盖项目都可以加入两种采集模式,让模型看到成功前后发生的事情,并使用与交付其余部分相同的序列结果标签。

失败与恢复
操作员有意加入真实的失败:物体掉落、抓取落空、重新抓取、撤销某一步。随后他们完成恢复并把任务做完。这些序列会被标注而不是丢弃:每个序列都记录结果、失败类型以及恢复的开始和结束时间,并附有左手和右手各自的动作标签。
无脚本的长时程会话
采集者在真实的家庭和工作场所中,不按脚本完成包含多项任务的长时间会话,任务顺序由实际工作决定。采集结束后,由视觉语言模型对每段会话进行切分和标注:任务、带开始和结束时间的子任务、显示每项任务完成状态的目标帧,以及每一步的思维链。

计划与证据

目录是计划,覆盖报告是证据。

采集需求说明针对模型的缺口,从目录中挑选单元。随后,覆盖报告逐个单元显示相对于需求说明交付了什么,并标出占比过高的家庭、采集者、家电或动作。

开始

把模型的缺口映射到目录。

带上您的运行记录或任务清单。我们把它们映射到覆盖单元,并一起起草第一份需求说明。