カバレッジ
学習に使う前に、データが何をカバーしているかを把握する。
カバレッジは、Avala のすべての収集キャンペーンが満たす基準です。実際のシーン、多数の家庭と収集者、重複チェック、追跡可能な同意記録、そして納品ごとのカバレッジレポート。収集は、28 のファミリーに分類された 218 のワークフローからなるカタログをもとに計画します。
- ワークフロー
- 218
- ファミリー
- 28
データシート
すべてのカバレッジプログラムを、ひと目で確認できます。
各プログラムで収集、記録、納品する内容を、1 項目につき 1 行でまとめています。
- 収集モード
- 第一人称視点、遠隔操作、カスタムリグ、フィールド運用
- 計画の基盤
- 28 のファミリーに分類された 218 のワークフロー
- 多様性
- 6 つの軸、それぞれを個別に追跡
- 集中度
- 家庭ごと、収集者ごとの上限をブリーフで設定
- 重複チェック
- ファイルの完全一致と動画フィンガープリント、納品内と納品間の両方
- シーケンスごとの記録
- キャンペーン、仮名化された家庭 ID と収集者 ID、リグ、キャリブレーション、同意記録
- 失敗とリカバリー
- 意図的なものと自然なものの両方。結果、失敗の種類、リカバリー区間のラベル付き
- 各納品
- ブリーフと照らし合わせたカバレッジレポート
- エクスポート
- Python SDK またはコマンドラインから取得できる LeRobot 形式のデータセットリリース
基準
すべての納品が満たす 5 つのルール。
ありのままのシーン
部屋は人が使ったままの状態で記録します。郵便物、スマートフォン、置きっぱなしのマグカップもそのまま映ります。散らかった状態を演出することも、ボウル 1 つを動かすためにテーブルを片付けることもしません。
集中度の上限
各プログラムでは、1 つの家庭、1 人の収集者が占める受け入れ済み時間の割合に上限を設けます。カバレッジレポートでは、各納品が両方の上限に対してどの位置にあるかを示します。
重複チェック
ファイルの完全一致チェックと動画フィンガープリントで、重複および準重複のシーケンスを検出します。対象は納品内と、過去の納品との間の両方です。
来歴
すべてのシーケンスに、収集キャンペーン、仮名化された家庭 ID と収集者 ID、リグとキャリブレーションの ID、そして根拠となる同意記録が付きます。
納品ごとのカバレッジレポート
各納品にはレポートが付きます。家庭と収集者ごとの時間とシーケンス数、部屋、家電、タスクと動作、そしてブリーフに対するギャップを示します。
多様性
カバレッジは 6 つの独立した軸で測定します。
同じ部屋、同じ動作のラベルを増やしても、得られるものはわずかです。各軸を個別に追跡するため、ある軸のギャップが別の軸のデータ量に隠れることはありません。
- 場所とレイアウト
- さまざまな家庭、部屋の広さ、収納の高さ、間取り、作業面。
- 家電と機構
- 実際の家電の種類、開閉機構、操作部を、シーケンスごとに記録します。
- 物体と積載物
- 形状、サイズ、素材、重さ、中身。洗濯物の混ざった山から、満杯の買い物袋まで。
- 自然な初期状態
- 実際に使った後の、実際の家事。種類の混ざった食器、生活感のある部屋、洗濯を待つかご。
- 人と視点
- さまざまな収集者、手の伸ばし方、作業の高さ。場所とは別に追跡します。
- 動作と結果
- 自然なペースでの、完結した状態変化。開ける、空にする、仕分ける、置く、閉める、元に戻す。
収集の進め方
台本どおりのデモンストレーションの先へ。
台本どおりのデモンストレーションは、成功がどのようなものかをモデルに示します。どのカバレッジプログラムにも、成功の前後で起きることを示す 2 つの収集モードを追加できます。ラベルは納品の他の部分と同じ、シーケンスごとの結果ラベルです。
- 失敗とリカバリー
- オペレーターは現実的な失敗を意図的に含めます。物を落とす、つかみ損ねる、持ち直す、手順をやり直す。そのうえでリカバリーし、タスクを完了します。こうしたシーケンスは捨てずにラベルを付けます。各シーケンスには結果、失敗の種類、リカバリーの開始と終了が記録され、左右の手それぞれの動作ラベルも付きます。
- 台本なしの長時間セッション
- 収集者は台本なしで、実際の家庭や職場で複数のタスクにまたがる長いセッションを、作業に合った順序で進めます。収集後、視覚言語モデルが各セッションを分割してラベルを付けます。タスク、開始時刻と終了時刻付きのサブタスク、各タスクの完了状態を示すゴールフレーム、そして各ステップの思考の連鎖です。
ワークフローカタログ
218 のワークフローから計画します。
公開カタログには、28のファミリーに分類された218のワークフローが掲載されています。洗濯や食器洗いから、ガレージ、店舗、ホテルの客室清掃まで扱います。作成済みの手順や公開済みのタスク詳細を使って、ブリーフで収集内容を正確に指定できます。
- Laundry and garment care11
- Beds, bedding and household linens6
- Wardrobes, shoes and accessories7
- Ingredient preparation6
- Meal preparation and serving6
- Baking and dough handling6
- Dishwashing and kitchen reset6
- Groceries, pantry and food storage7
- Tables, drinks and dining areas6
- Surfaces, furniture and windows10
- Floors, rugs and entryways7
- Bathrooms and washroom reset8
- Waste, recycling and reusable packaging7
- Home organization and everyday objects11
- Packing, unpacking and household moves8
- Plants, balconies and outdoor chores6
- Retail shelves and stock handling6
- Workplace, supplies and light fulfillment6
- Yard work and garden grounds13
- Garage work and workshop organization8
- Vehicle and bicycle care12
- Outdoor gear and seasonal setup8
- Arrangement and target-state placement17
- Appliance operation and controls7
- Household upkeep and small repairs10
- Hotel housekeeping and hospitality6
- Pet care4
- Interaction with a second person3
計画と根拠
カタログは計画、カバレッジレポートは根拠です。
収集ブリーフは、モデルのギャップに合わせてカタログからセルを選びます。カバレッジレポートは、そのブリーフに対して何を納品したかをセルごとに示し、偏りのある家庭、収集者、家電、動作を指摘します。