評価
モデルが実際に働く場所で、モデルを試す。
Avala は、お客様の導入環境に合わせた実際の家庭や職場の評価用シーンで、モデルを非公開で評価します。リーク管理により、それらのシーンは学習に使われません。すべてのスコアを人が監査し、すべての失敗が次のデータ収集の起点になります。
ホールドアウト
評価用シーンは非公開のまま、学習には使われません。
導入環境に合わせる
評価用シーンは、ロボットが働く場所に合わせて選んだ実際の家庭や職場で、学習データと同じシーン基準に沿って収集します。
お客様のモデル専用
評価用コホートはお客様のモデルのために構築し、非公開で採点します。そのシーンと、そこに含まれる家庭、物体、オペレーターは、どの学習用リリースにも含めません。
リーク管理
すべてのシーケンスには、場所、物体、メカニズム、オペレーター、環境ファミリーごとのリークグループが付いています。Avala はスコアリングの前に、お客様の学習用リリースをリークグループと動画フィンガープリントでバージョン管理されたコホートと照合し、その結果をレポートに記録します。
スコアリング
モデルが事前にスコアリングし、人が監査します。
視覚言語モデルによる事前スコア
視覚言語モデルが、タスクのサブタスクと成功基準に照らして各シーケンスをスコアリングします。
人による監査
訓練を受けたレビュアーがスコアを監査します。レビュアーの意見が分かれた場合は、コンセンサスで決定します。
評価者間一致度
各レポートにはレビュアーの一致率を記載するため、各スコアの確かさを確認できます。
センサーの不具合やキャリブレーションの欠落があるシーケンスは無効とし、指標から除外します。モデルの失敗として数えることはありません。
レポート
すべての評価レポートで測定する項目。
成功確率
タスクを完了したシーケンスの割合。
部分的な進捗
成功しなかったシーケンスが、サブタスクのどこまで進んだか。
成功までの時間
成功したシーケンスにかかった時間。
人と比較したスループット
同じタスクを行う熟練者と比較したタスクの速度。
介入率
人が介入する必要があった頻度。
失敗モードの分布
どの失敗が起きたかを、失敗タクソノミーで分類したもの。
リカバリー率
モデルが自らのミスから立て直した頻度。
信頼区間
すべての指標に区間が付くため、2 つのモデルバージョンを公平に比較できます。
レポートのあと
すべての失敗が、次のデータ収集の起点になる。
失敗したシーケンスから作業が始まります。どのシーケンスも同じ4つのステップをたどります。
ギャップレポート
失敗は失敗モードと共通する条件ごとにまとめられ、モデルがどこで破綻するかをレポートが示します。
収集ブリーフ
それぞれのギャップがブリーフになります。次に収集するワークフロー、環境、バリエーションをまとめたものです。
狙いを定めたデータ
Avala はブリーフが求めるデータを、同じカバレッジ基準とリークチェックのもとで収集し、ラベル付けします。
再評価
次のバージョンはお客様が学習させます。Avala は同じ評価用コホートでそれを採点し、ギャップが埋まったかどうかを確認できるようにします。
採点済みのすべてのシーケンスには結果ラベルが付きます。何が起きたか、どこまで進んだか、学習用か評価用か、そしてリークグループです。ラベルは API、Python と TypeScript の SDK、MCP で読み取り、絞り込めます。
比較
同じコホートで 2 つのバージョンを評価する。
現在のモデルと候補モデルを、学習に使わない同じコホートで実行します。レポートでは両者を指標ごと、失敗モードごとに並べて示すため、リリースの判断を検証可能な根拠に基づいて行えます。