留出评估场景
评估组是一组固定的真实世界场景和任务。每个评估组针对特定的覆盖单元和失败模式。- 从不用于训练发布。 评估组中的序列在其结果标签中带有
evaluation_membership: "held_out_eval"。它们从不出现在训练发布版本中。 - 按泄漏组隔离。 评估组中的任何地点、物体组、机构单元、操作员或环境类别都不会出现在任何训练发布版本中。参见泄漏组。
- 经过污染检查。 每次发布前，Avala 为发布版本生成指纹，并与每个活跃的评估组进行比对。污染检查带有版本号。每份报告注明检查版本及其所比对的评估组版本。
- 带有版本号。 评估组只通过新版本发生变化。报告始终注明评估组版本，因此数字保持可比。
打分
每次评估运行分两个阶段打分。- VLM 预打分。 一个视觉语言模型根据任务评分标准为每个序列和子任务打分。它给出
outcome、带边界的subtasks，以及取自失败分类体系的mistake_type和failure_stage的建议。预打分以source: "model"存储，并带有confidence。 - 人工审计。 经过培训的审核员检查预打分。他们审计每个有争议的序列，以及其余序列中的随机样本，并修正标签。修正后的标签是一个
source: "human"的新版本。较早的版本保留在标签历史中。
指标
每个指标都按整体和按覆盖单元报告。序列数过少、无法得到稳定区间的单元会被标记。
能力报告
每次评估后，Avala 都会在计划中交付一份能力报告。它回答一个问题：这个模型版本能做什么，发生了什么变化？
报告中的每个数字都链接回对应的序列。您可以在 Mission Control 中打开任何示例。
您需要提供的内容
您提供要评估的模型版本。简报规定每次评估运行在哪里以及如何进行。评估运行记录与失败数据以相同的方式到达 Avala。参见失败数据接入。 如果您已经在用开源评估工具 Inspect Robots 进行评估，可以导入它的日志。每个试验为一个序列打上标签。参见失败数据接入中的“导入评估日志”一节。 审计后的标签作为结果标签存储在评估序列上，因此您可以自行读取。下面的命令列出失败和中止的留出序列：model_version 筛选，以便您比较策略版本。参见序列元数据模式中的“读取和写入结果标签”一节。