ホールドアウトされた評価シーン
評価コホートは、実世界のシーンとタスクの固定されたセットです。各コホートは、特定のカバレッジセルと失敗モードを対象とします。- トレーニング用にリリースされることはありません。 コホート内のシーケンスは、結果ラベルに
evaluation_membership: "held_out_eval"を持ちます。トレーニングリリースに含まれることはありません。 - リーケージグループで分離されます。 コホート内のどの場所、物体セット、機構のユニット、オペレーター、環境ファミリーも、トレーニングリリースに現れません。リーケージグループをご覧ください。
- 汚染をチェックします。 各リリースの前に、Avala はリリースのフィンガープリントを取り、すべての有効なコホートと照合します。汚染チェックはバージョン管理されます。各レポートには、チェックのバージョンと、照合したコホートのバージョンが記載されます。
- バージョン管理されます。 コホートは新しいバージョンによってのみ変わります。レポートには常にコホートのバージョンが記載されるため、数値を比較し続けられます。
スコアリング
すべての評価実行は 2 段階でスコアリングされます。- VLM による事前スコア。 視覚言語モデルが、各シーケンスとサブタスクをタスクのルーブリックに照らしてスコアリングします。
outcome、境界付きのsubtasks、失敗タクソノミーに基づくmistake_typeとfailure_stageを提案します。事前スコアはsource: "model"とconfidence付きで保存されます。 - 人間による監査。 訓練を受けたレビュアーが事前スコアを確認します。異論のあるすべてのシーケンスと、残りのランダムサンプルを監査し、ラベルを修正します。修正されたラベルは
source: "human"を持つ新しいバージョンになります。以前のバージョンはラベル履歴に残ります。
メトリクス
各メトリクスは、全体とカバレッジセルごとに報告されます。安定した区間を得るにはシーケンスが少なすぎるセルには印が付きます。
能力レポート
Avala は、評価のたびにプログラムの一部として能力レポートを納品します。レポートは 1 つの問いに答えます。このモデルバージョンは何ができ、何が変わったか、という問いです。
レポートは、すべての数値をそのシーケンスにリンクしています。どの例も Mission Control で開けます。
お客様が提供するもの
お客様は評価対象のモデルバージョンを提供します。ブリーフは、各評価実行をどこでどのように行うかを定めます。評価のロールアウトは、失敗と同じ方法で Avala に届きます。失敗データの取り込みをご覧ください。 オープンソースの評価ツールである Inspect Robots ですでに評価を実行している場合は、そのログをインポートできます。各試行が 1 つのシーケンスにラベルを付けます。失敗データの取り込みの「評価ログをインポートする」をご覧ください。 監査済みのラベルは評価シーケンスの結果ラベルとして保存されるため、お客様自身で読み取れます。次のコマンドは、失敗または中断したホールドアウトシーケンスを一覧します：model_version でも絞り込めるため、ポリシーのバージョンを比較できます。シーケンスメタデータスキーマの「結果ラベルの読み取りと書き込み」をご覧ください。