规格表
所有覆盖项目,一目了然。
逐项列出每个项目采集、记录和交付的内容,每项一行。
- 采集方式
- 第一视角、遥操作、定制采集设备和实地作业
- 规划依据
- 26 个类别下的 175 个工作流
- 多样性
- 六个维度,每个维度单独追踪
- 集中度
- 在需求说明中按家庭、按采集者分别设定上限
- 重复检查
- 文件完全匹配与视频指纹,涵盖交付内部和交付之间
- 每个序列记录
- 采集任务、假名化的家庭和采集者 ID、采集设备、标定和知情同意记录
- 失败与恢复
- 包括刻意演示和自然发生的失败,标注结果、失败类型和恢复区间
- 每次交付
- 对照需求说明的覆盖报告
- 导出
- LeRobot 格式的数据集版本,可通过 Python SDK 或命令行获取
标准
每次交付都遵循的五条规则。
保持原样的场景
房间保持人们离开时的样子。信件、手机或随手放的杯子都留在画面中。我们不刻意布置凌乱,也不会为了移动一只碗而清空整张桌子。
集中度上限
每个项目都会限制任一家庭和任一采集者在已验收时长中的占比。覆盖报告会显示每次交付相对于这两个上限的情况。
重复检查
通过文件完全匹配检查和视频指纹,找出重复和近似重复的序列,范围包括同一次交付内部以及与以往交付之间。
数据来源
每个序列都带有其采集任务、假名化的家庭和采集者 ID、采集设备和标定 ID,以及对应的知情同意记录。
每次交付附带覆盖报告
每次交付都附带一份报告:按家庭和采集者统计的时长和序列数、房间、家电、任务和动作,以及与需求说明之间的任何缺口。
多样性
覆盖范围按六个独立维度衡量。
为同一个房间、同一个动作增加更多标注,作用不大。每个维度单独追踪,因此一个维度上的缺口不会被另一个维度上的数据量掩盖。
- 地点与布局
- 不同的家庭、房间大小、收纳高度、户型和工作台面。
- 家电与机构
- 每个序列都记录实际的家电类型、开启机构和操作部件。
- 物体与负载
- 形状、尺寸、材质、重量和内容物,从混装的一堆衣物到装满的购物袋。
- 自然的初始状态
- 真实使用之后的真实家务:混放的餐具、有生活痕迹的房间、等待清洗的脏衣篮。
- 人员与视角
- 不同的采集者、伸手方式和工作高度,与地点分开追踪。
- 动作与结果
- 以自然节奏完成的完整状态变化:打开、清空、分类、放置、关闭和复位。
采集模式
不止于按脚本演示。
按脚本的演示让模型看到成功是什么样子。任何覆盖项目都可以加入两种采集模式,让模型看到成功前后发生的事情,并使用与交付其余部分相同的序列结果标签。
- 失败与恢复
- 操作员有意加入真实的失败:物体掉落、抓取落空、重新抓取、撤销某一步。随后他们完成恢复并把任务做完。这些序列会被标注而不是丢弃:每个序列都记录结果、失败类型以及恢复的开始和结束时间,并附有左手和右手各自的动作标签。
- 无脚本的长时程会话
- 采集者在真实的家庭和工作场所中,不按脚本完成包含多项任务的长时间会话,任务顺序由实际工作决定。采集结束后,由视觉语言模型对每段会话进行切分和标注:任务、带开始和结束时间的子任务、显示每项任务完成状态的目标帧,以及每一步的思维链。
工作流目录
基于 175 个工作流进行规划。
公开目录收录了 26 个类别下的 175 个工作流,从洗衣、洗碗到车库、商店和酒店客房清洁。每个工作流都写明了子任务、微任务和变体,让需求说明能够准确说明要采集什么。
- Laundry and garment care9
- Beds, bedding and household linens6
- Wardrobes, shoes and accessories6
- Ingredient preparation6
- Meal preparation and serving6
- Baking and dough handling6
- Dishwashing and kitchen reset6
- Groceries, pantry and food storage6
- Tables, drinks and dining areas6
- Surfaces, furniture and windows6
- Floors, rugs and entryways6
- Bathrooms and washroom reset6
- Waste, recycling and reusable packaging6
- Home organization and everyday objects6
- Packing, unpacking and household moves6
- Plants, balconies and outdoor chores6
- Retail shelves and stock handling6
- Workplace, supplies and light fulfillment6
- Yard work and garden grounds8
- Garage work and workshop organization8
- Vehicle and bicycle care8
- Outdoor gear and seasonal setup6
- Arrangement and target-state placement16
- Appliance operation and controls6
- Household upkeep and small repairs6
- Hotel housekeeping and hospitality6
计划与证据
目录是计划,覆盖报告是证据。
采集需求说明针对模型的缺口,从目录中挑选单元。随后,覆盖报告逐个单元显示相对于需求说明交付了什么,并标出占比过高的家庭、采集者、家电或动作。