留出
您的评估场景保持私有，且不进入训练。
匹配您的部署环境
我们在为匹配机器人工作地点而挑选的真实家庭和工作场所中采集评估场景，采用与训练数据相同的场景标准。
仅供您的模型使用
您的评估组专为您的模型构建，并私下评分。其中的场景，以及其中的家庭、物品和操作员，都不会进入任何训练版本。
防泄漏控制
每个序列都带有按地点、物品、机构、操作员和环境类别划分的泄漏组。评分前，Avala 会按泄漏组和视频指纹，将您的训练版本与带版本号的评估组进行比对，并在报告中记录结果。
评分
模型预评分，人工审核。
视觉语言模型预评分
视觉语言模型对照任务的子任务和成功标准，为每个序列评分。
人工审核
经过培训的审核员审核分数。审核员意见不一致时，由共识决定。
评分者间一致性
每份报告都会说明审核员的一致程度，让您看清每个分数有多可靠。
存在传感器故障或缺少标定的序列会被标记为无效，不计入指标，也绝不会被算作模型失败。
报告
每份评估报告衡量的内容。
成功概率
完成任务的序列所占比例。
部分进展
未成功的序列在子任务中推进到了哪一步。
成功用时
成功的序列耗时多久。
相对人类的吞吐量
与执行同一任务的专家相比的任务速度。
干预率
需要人工介入的频率。
失败模式分布
发生了哪些失败，按失败分类体系归类。
恢复率
模型从自身失误中恢复的频率。
置信区间
每项指标都带有区间，因此可以公平比较两个模型版本。
报告之后
每一次失败都开启下一轮数据工作。
失败的序列正是工作的起点。每一个都经过相同的四个步骤。
差距报告
失败按失败模式及其共同条件分组，因此报告会指出模型在哪里出问题。
采集简报
每个差距都会变成一份简报：接下来要采集的工作流程、场景和变化。
定向数据
Avala 按照相同的覆盖标准和泄漏检查，采集并标注简报所需的数据。
重新评估
下一个版本由您训练。Avala 在同一个保留评估组上为其评分，让您看到差距是否已经弥合。
每个已评分的序列都带有结果标签：发生了什么、进展到哪一步、属于训练还是保留评估，以及它的泄漏组。可通过 API、Python 和 TypeScript SDK 以及 MCP 读取和筛选这些标签。
比较
在同一评估组上为两个版本评分。
在同一个留出评估组上运行当前模型和候选模型。报告按指标、按失败模式把两者并排展示，让上线决策建立在可检查的证据之上。