> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 评估

> 留出的真实世界评估场景、带审计一致性的打分、能力指标和能力报告

Avala 在您的训练数据从未接触过的真实世界场景上衡量您的模型。同一组场景为每个模型版本打分，因此您可以直接比较各个版本。

## 留出评估场景

评估组是一组固定的真实世界场景和任务。每个评估组针对特定的[覆盖单元](/docs/zh/fleet-learning/coverage.md)和失败模式。

* **从不用于训练发布。** 评估组中的序列在其[结果标签](/docs/zh/fleet-learning/sequence-metadata.md)中带有 `evaluation_membership: "held_out_eval"`。它们从不出现在训练发布版本中。
* **按泄漏组隔离。** 评估组中的任何地点、物体组、机构单元、操作员或环境类别都不会出现在任何训练发布版本中。参见[泄漏组](/docs/zh/fleet-learning/sequence-metadata.md)。
* **经过污染检查。** 每次发布前，Avala 为发布版本生成指纹，并与每个活跃的评估组进行比对。污染检查带有版本号。每份报告注明检查版本及其所比对的评估组版本。
* **带有版本号。** 评估组只通过新版本发生变化。报告始终注明评估组版本，因此数字保持可比。

## 打分

每次评估运行分两个阶段打分。

1. **VLM 预打分。** 一个视觉语言模型根据任务评分标准为每个序列和子任务打分。它给出 `outcome`、带边界的 `subtasks`，以及取自失败分类体系的 `mistake_type` 和 `failure_stage` 的建议。预打分以 `source: "model"` 存储，并带有 `confidence`。
2. **人工审计。** 经过培训的审核员检查预打分。他们审计每个有争议的序列，以及其余序列中的随机样本，并修正标签。修正后的标签是一个 `source: "human"` 的新版本。较早的版本保留在标签历史中。

打分是 Avala 提供的一项服务。Avala 为每次运行报告评分者间一致性。报告给出 VLM 预打分与审计之间的一致性，以及人工审核员在双重打分样本上的一致性。只有一致性达到简报设定的阈值时，指标才会被报告。

## 指标

| 指标 | 定义 |
| - | - |
| 成功概率 | 达到目标状态的序列占比，附带 95% 置信区间。 |
| 部分进展 | 每个序列完成的子任务占比的平均值。 |
| 成功用时 | 在成功序列中，达到目标状态的用时中位数。 |
| 相对人类的吞吐量 | 每小时完成的任务数，除以同一评估组的人类专家参考值。 |
| 干预率 | 每个序列以及每小时自主运行中的人工干预次数。 |
| 失败模式分布 | 失败序列在分类体系各失败模式中的占比。 |
| 恢复率 | 在出现错误的序列中，机器人在没有帮助的情况下恢复并完成任务的占比。 |

每个指标都按整体和按覆盖单元报告。序列数过少、无法得到稳定区间的单元会被标记。

## 能力报告

每次评估后，Avala 都会在计划中交付一份能力报告。它回答一个问题：这个模型版本能做什么，发生了什么变化？

| 部分 | 内容 |
| - | - |
| 范围 | 比较的模型版本、评估组 ID 和版本、污染检查版本、运行日期。 |
| 概览 | 每个模型版本的每项指标，附带置信区间。 |
| 按单元的结果 | 每个覆盖单元的指标，并标记稀薄单元。 |
| 失败模式 | 每个模型版本的失败模式分布。每种模式的示例序列。 |
| 恢复 | 恢复率及其背后的失败与恢复示例。 |
| 打分质量 | 审计样本量和评分者间一致性。 |
| 实验 | 每个处于开启状态的[能力实验](/docs/zh/fleet-learning/capability-experiments.md)、它的假设和测得的结果。 |
| 下一次分配 | 下一份简报针对的单元和失败模式，以及原因。 |

报告中的每个数字都链接回对应的序列。您可以在 Mission Control 中打开任何示例。

## 您需要提供的内容

您提供要评估的模型版本。简报规定每次评估运行在哪里以及如何进行。评估运行记录与失败数据以相同的方式到达 Avala。参见[失败数据接入](/docs/zh/fleet-learning/failure-ingestion.md)。

如果您已经在用开源评估工具 Inspect Robots 进行评估，可以导入它的日志。每个试验为一个序列打上标签。参见[失败数据接入](/docs/zh/fleet-learning/failure-ingestion.md)中的“导入评估日志”一节。

审计后的标签作为结果标签存储在评估序列上，因此您可以自行读取。下面的命令列出失败和中止的留出序列：

```bash theme={null}
avala sequence-outcomes list your-org kitchen-eval --evaluation-membership held_out_eval --outcome failure,aborted
```

API、SDK 和 MCP 服务器还可以按 `model_version` 筛选，以便您比较策略版本。参见[序列元数据模式](/docs/zh/fleet-learning/sequence-metadata.md)中的“读取和写入结果标签”一节。