ループ
各サイクルは、フリートが現実世界で行うことから始まり、訓練に使えるリリースで終わります。1
観測
ロボットが稼働します。ロールアウト、介入、失敗が、フリートレコーディングとイベントとして Avala に流れ込みます。失敗データの取り込みをご覧ください。
2
診断
Avala はロールアウトをセグメント化し、失敗を失敗タクソノミーにクラスタリングし、ギャップレポートを作成します。
3
評価
Avala は、現行のモデルバージョンを、ホールドアウトされた実世界の評価シーンでスコアリングします。評価をご覧ください。
5
訓練
お客様がリリースでモデルを訓練します。訓練はお客様側で行います。
6
検証
Avala は新しいモデルバージョンを同じホールドアウトシーンで再評価し、失敗モードごとの変化を報告します。
7
リリース
Avala は、シーケンスメタデータとトレーニング用エクスポートを含む、バージョン管理され権利処理済みのデータセットリリースを公開します。
8
観測
新しいモデルがフリートに戻ります。そのロールアウトが次のサイクルを始めます。
役割分担
モデルが何を学び、いつ出荷するかはお客様が決めます。Avala は各判断のためのエビデンスとデータを提供します。
エンゲージメントの進め方
すべてのエンゲージメントは同じ 5 つのステップに従います。各ステップは、お客様が確認できる成果物を生み出します。- 失敗。 モデルが失敗した、または支援が必要だったロールアウトを送信します。Avala はそれらをフリートレコーディングとイベントとして読み込みます。
- ギャップレポート。 Avala は失敗を失敗モードごとにグループ化し、欠けている、または薄いカバレッジセルを特定します。
- ブリーフ。 Avala はギャップレポートを収集ブリーフに変換します。ブリーフには、対象カバレッジセル、集中度の上限、承認基準、評価コホートが記載されます。お客様がそれを承認します。
- バッチ。 Avala がバッチを収集しレビューします。各納品にはカバレッジレポートとシーケンスごとのメタデータが付属します。
- 再評価。 Avala は次のモデルバージョンをホールドアウトシーンでスコアリングします。能力レポートは何が変わったかを示し、次の配分を決めます。