> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 評価

> ホールドアウトされた実世界の評価シーン、一致度を監査したスコアリング、能力メトリクス、能力レポート

Avala は、お客様のトレーニングデータが一切触れない実世界のシーンでモデルを測定します。同じシーンですべてのモデルバージョンをスコアリングするため、バージョン同士を直接比較できます。

## ホールドアウトされた評価シーン

評価コホートは、実世界のシーンとタスクの固定されたセットです。各コホートは、特定の[カバレッジセル](/docs/ja/fleet-learning/coverage.md)と失敗モードを対象とします。

* **トレーニング用にリリースされることはありません。** コホート内のシーケンスは、[結果ラベル](/docs/ja/fleet-learning/sequence-metadata.md)に `evaluation_membership: "held_out_eval"` を持ちます。トレーニングリリースに含まれることはありません。
* **リーケージグループで分離されます。** コホート内のどの場所、物体セット、機構のユニット、オペレーター、環境ファミリーも、トレーニングリリースに現れません。[リーケージグループ](/docs/ja/fleet-learning/sequence-metadata.md)をご覧ください。
* **汚染をチェックします。** 各リリースの前に、Avala はリリースのフィンガープリントを取り、すべての有効なコホートと照合します。汚染チェックはバージョン管理されます。各レポートには、チェックのバージョンと、照合したコホートのバージョンが記載されます。
* **バージョン管理されます。** コホートは新しいバージョンによってのみ変わります。レポートには常にコホートのバージョンが記載されるため、数値を比較し続けられます。

## スコアリング

すべての評価実行は 2 段階でスコアリングされます。

1. **VLM による事前スコア。** 視覚言語モデルが、各シーケンスとサブタスクをタスクのルーブリックに照らしてスコアリングします。`outcome`、境界付きの `subtasks`、失敗タクソノミーに基づく `mistake_type` と `failure_stage` を提案します。事前スコアは `source: "model"` と `confidence` 付きで保存されます。
2. **人間による監査。** 訓練を受けたレビュアーが事前スコアを確認します。異論のあるすべてのシーケンスと、残りのランダムサンプルを監査し、ラベルを修正します。修正されたラベルは `source: "human"` を持つ新しいバージョンになります。以前のバージョンはラベル履歴に残ります。

スコアリングは Avala が行うサービスです。Avala は実行ごとに評価者間一致度を報告します。レポートには、VLM の事前スコアと監査の一致度、および二重スコアリングしたサンプルでの人間のレビュアー間の一致度が記載されます。メトリクスは、一致度がブリーフで設定したしきい値を満たした場合にのみ報告されます。

## メトリクス

| メトリクス | 定義 |
| - | - |
| 成功確率 | 目標状態に達したシーケンスの割合です。95% 信頼区間を含みます。 |
| 部分的な進捗 | シーケンスあたりの完了したサブタスクの割合の平均です。 |
| 成功までの時間 | 成功したシーケンスにおける、目標状態に達するまでの時間の中央値です。 |
| 人間比のスループット | 1 時間あたりの完了タスク数を、同じコホートのエキスパートの人間の基準で割った値です。 |
| 介入率 | シーケンスあたり、および自律運用 1 時間あたりの人間による介入の回数です。 |
| 失敗モードの分布 | タクソノミーの各失敗モードに属する、失敗したシーケンスの割合です。 |
| リカバリー率 | エラーのあるシーケンスのうち、ロボットが助けなしにリカバリーしてタスクを完了した割合です。 |

各メトリクスは、全体とカバレッジセルごとに報告されます。安定した区間を得るにはシーケンスが少なすぎるセルには印が付きます。

## 能力レポート

Avala は、評価のたびにプログラムの一部として能力レポートを納品します。レポートは 1 つの問いに答えます。このモデルバージョンは何ができ、何が変わったか、という問いです。

| セクション | 内容 |
| - | - |
| 範囲 | 比較したモデルバージョン、コホートの ID とバージョン、汚染チェックのバージョン、実行日。 |
| ヘッドライン | 各モデルバージョンの各メトリクス。信頼区間を含みます。 |
| セルごとの結果 | カバレッジセルごとのメトリクス。薄いセルには印が付きます。 |
| 失敗モード | モデルバージョンごとの失敗モードの分布。各モードのシーケンス例。 |
| リカバリー | リカバリー率と、その根拠となる失敗とリカバリーの例。 |
| スコアリングの品質 | 監査のサンプルサイズと評価者間一致度。 |
| 実験 | 進行中の各[能力実験](/docs/ja/fleet-learning/capability-experiments.md)、その仮説、測定された結果。 |
| 次の配分 | 次のブリーフが対象とするセルと失敗モード、そしてその理由。 |

レポートは、すべての数値をそのシーケンスにリンクしています。どの例も Mission Control で開けます。

## お客様が提供するもの

お客様は評価対象のモデルバージョンを提供します。ブリーフは、各評価実行をどこでどのように行うかを定めます。評価のロールアウトは、失敗と同じ方法で Avala に届きます。[失敗データの取り込み](/docs/ja/fleet-learning/failure-ingestion.md)をご覧ください。

オープンソースの評価ツールである Inspect Robots ですでに評価を実行している場合は、そのログをインポートできます。各試行が 1 つのシーケンスにラベルを付けます。[失敗データの取り込み](/docs/ja/fleet-learning/failure-ingestion.md)の「評価ログをインポートする」をご覧ください。

監査済みのラベルは評価シーケンスの結果ラベルとして保存されるため、お客様自身で読み取れます。次のコマンドは、失敗または中断したホールドアウトシーケンスを一覧します：

```bash theme={null}
avala sequence-outcomes list your-org kitchen-eval --evaluation-membership held_out_eval --outcome failure,aborted
```

API、SDK、MCP サーバーでは `model_version` でも絞り込めるため、ポリシーのバージョンを比較できます。[シーケンスメタデータスキーマ](/docs/ja/fleet-learning/sequence-metadata.md)の「結果ラベルの読み取りと書き込み」をご覧ください。