ループ
各サイクルは、フリートが現実世界で行うことから始まり、訓練に使えるリリースで終わります。1
観測
ロボットが稼働します。ロールアウト、介入、失敗が、フリートレコーディングとイベントとして Avala に流れ込みます。失敗データの取り込みをご覧ください。
2
診断
Avala はロールアウトをセグメント化し、失敗を失敗タクソノミーにクラスタリングし、ギャップレポートを作成します。
3
評価
Avala は、現行のモデルバージョンを、ホールドアウトされた実世界の評価シーンでスコアリングします。評価をご覧ください。
5
訓練
お客様がリリースでモデルを訓練します。訓練はお客様側で行います。
6
検証
Avala は新しいモデルバージョンを同じホールドアウトシーンで再評価し、失敗モードごとの変化を報告します。
7
リリース
Avala は、シーケンスメタデータとトレーニング用エクスポートを含む、バージョン管理され権利処理済みのデータセットリリースを公開します。
8
観測
新しいモデルがフリートに戻ります。そのロールアウトが次のサイクルを始めます。
役割分担
モデルが何を学び、いつ出荷するかはお客様が決めます。Avala は各判断のためのエビデンスとデータを提供します。
エンゲージメントの進め方
すべてのエンゲージメントは同じ 5 つのステップに従います。各ステップは、お客様が確認できる成果物を生み出します。- 失敗。 モデルが失敗した、または支援が必要だったロールアウトを送信します。Avala はそれらをフリートレコーディングとイベントとして読み込みます。
- ギャップレポート。 Avala は失敗を失敗モードごとにグループ化し、欠けている、または薄いカバレッジセルを特定します。
- ブリーフ。 Avala はギャップレポートを収集ブリーフに変換します。ブリーフには、対象カバレッジセル、集中度の上限、承認基準、評価コホートが記載されます。お客様がそれを承認します。
- バッチ。 Avala がバッチを収集しレビューします。各納品にはカバレッジレポートとシーケンスごとのメタデータが付属します。
- 再評価。 Avala は次のモデルバージョンをホールドアウトシーンでスコアリングします。能力レポートは何が変わったかを示し、次の配分を決めます。
このセクションの内容
能力実験
失敗を、そのために収集したデータと測定された結果に結び付ける記録です。
シーケンスメタデータスキーマ
すべてのシーケンスの結果ラベル、技術的妥当性の報告方法、両者の読み取り方法とエクスポート方法です。
承認済み時間
Avala が納品する単位と、Avala が報告する却下理由です。
カバレッジ
カバレッジセル、集中度の上限、重複チェック、カバレッジレポートです。
評価
ホールドアウトシーン、スコアリング、メトリクス、能力レポートです。
失敗データの取り込み
SDK、CLI、MCP サーバーでロールアウトと失敗を送信します。
エクスポート
LeRobot のインポートとエクスポート、各リリースに含まれる内容です。