AvalaAvala

カバレッジ

学習に使う前に、データが何をカバーしているかを把握する。

カバレッジは、Avala のすべての収集キャンペーンが満たす基準です。実際のシーン、多数の家庭と収集者、重複チェック、追跡可能な同意記録、そして納品ごとのカバレッジレポート。収集は、28 のファミリーに分類された 218 のワークフローからなるカタログをもとに計画します。

ワークフロー
218
ファミリー
28

データシート

すべてのカバレッジプログラムを、ひと目で確認できます。

各プログラムで収集、記録、納品する内容を、1 項目につき 1 行でまとめています。

収集モード
第一人称視点、遠隔操作、カスタムリグ、フィールド運用
計画の基盤
28 のファミリーに分類された 218 のワークフロー
多様性
6 つの軸、それぞれを個別に追跡
集中度
家庭ごと、収集者ごとの上限をブリーフで設定
重複チェック
ファイルの完全一致と動画フィンガープリント、納品内と納品間の両方
シーケンスごとの記録
キャンペーン、仮名化された家庭 ID と収集者 ID、リグ、キャリブレーション、同意記録
失敗とリカバリー
意図的なものと自然なものの両方。結果、失敗の種類、リカバリー区間のラベル付き
各納品
ブリーフと照らし合わせたカバレッジレポート
エクスポート
Python SDK またはコマンドラインから取得できる LeRobot 形式のデータセットリリース

基準

すべての納品が満たす 5 つのルール。

  1. ありのままのシーン

    部屋は人が使ったままの状態で記録します。郵便物、スマートフォン、置きっぱなしのマグカップもそのまま映ります。散らかった状態を演出することも、ボウル 1 つを動かすためにテーブルを片付けることもしません。

  2. 集中度の上限

    各プログラムでは、1 つの家庭、1 人の収集者が占める受け入れ済み時間の割合に上限を設けます。カバレッジレポートでは、各納品が両方の上限に対してどの位置にあるかを示します。

  3. 重複チェック

    ファイルの完全一致チェックと動画フィンガープリントで、重複および準重複のシーケンスを検出します。対象は納品内と、過去の納品との間の両方です。

  4. 来歴

    すべてのシーケンスに、収集キャンペーン、仮名化された家庭 ID と収集者 ID、リグとキャリブレーションの ID、そして根拠となる同意記録が付きます。

  5. 納品ごとのカバレッジレポート

    各納品にはレポートが付きます。家庭と収集者ごとの時間とシーケンス数、部屋、家電、タスクと動作、そしてブリーフに対するギャップを示します。

多様性

カバレッジは 6 つの独立した軸で測定します。

同じ部屋、同じ動作のラベルを増やしても、得られるものはわずかです。各軸を個別に追跡するため、ある軸のギャップが別の軸のデータ量に隠れることはありません。

場所とレイアウト
さまざまな家庭、部屋の広さ、収納の高さ、間取り、作業面。
家電と機構
実際の家電の種類、開閉機構、操作部を、シーケンスごとに記録します。
物体と積載物
形状、サイズ、素材、重さ、中身。洗濯物の混ざった山から、満杯の買い物袋まで。
自然な初期状態
実際に使った後の、実際の家事。種類の混ざった食器、生活感のある部屋、洗濯を待つかご。
人と視点
さまざまな収集者、手の伸ばし方、作業の高さ。場所とは別に追跡します。
動作と結果
自然なペースでの、完結した状態変化。開ける、空にする、仕分ける、置く、閉める、元に戻す。

収集の進め方

台本どおりのデモンストレーションの先へ。

台本どおりのデモンストレーションは、成功がどのようなものかをモデルに示します。どのカバレッジプログラムにも、成功の前後で起きることを示す 2 つの収集モードを追加できます。ラベルは納品の他の部分と同じ、シーケンスごとの結果ラベルです。

失敗とリカバリー
オペレーターは現実的な失敗を意図的に含めます。物を落とす、つかみ損ねる、持ち直す、手順をやり直す。そのうえでリカバリーし、タスクを完了します。こうしたシーケンスは捨てずにラベルを付けます。各シーケンスには結果、失敗の種類、リカバリーの開始と終了が記録され、左右の手それぞれの動作ラベルも付きます。
台本なしの長時間セッション
収集者は台本なしで、実際の家庭や職場で複数のタスクにまたがる長いセッションを、作業に合った順序で進めます。収集後、視覚言語モデルが各セッションを分割してラベルを付けます。タスク、開始時刻と終了時刻付きのサブタスク、各タスクの完了状態を示すゴールフレーム、そして各ステップの思考の連鎖です。

計画と根拠

カタログは計画、カバレッジレポートは根拠です。

収集ブリーフは、モデルのギャップに合わせてカタログからセルを選びます。カバレッジレポートは、そのブリーフに対して何を納品したかをセルごとに示し、偏りのある家庭、収集者、家電、動作を指摘します。

はじめる

モデルのギャップをカタログに対応付ける。

ロールアウトまたはタスクリストをお持ちください。それらをカバレッジセルに対応付け、最初のブリーフを一緒に作成します。