能力实验 - Avala Documentation

能力实验是机群学习循环中的一轮，以书面形式记录下来。它从您的模型在某个特定模型版本上出现的失败开始。它提出一个假设，说明哪些数据可以修复这个失败。它以测得的结果和关于下一次分配的决定结束。 Avala 为差距报告中的每个失败条件开启一个能力实验。在采集、发布和重新评估的过程中，Avala 持续更新这份记录。您会在每份能力报告中收到它。

字段

字段	内容
`model_version`	出现该失败的模型版本。此标识符由您提供。
`failure_condition`	失败及其出现的条件，取自失败分类体系。`mistake_type` 和 `failure_stage` 使用与失败序列的结果标签相同的标记。
`hypothesis`	一个可检验的陈述：哪些数据应当改变哪个指标，以及改变的方向。
`coverage_cells`	该实验针对的覆盖单元。
`capture_campaign`	采集数据的采集活动。
`dataset_release`	承载新序列的带版本号的数据集发布版本。
`evaluation_cohort`	用于衡量结果的留出评估场景。这些场景的序列带有 `evaluation_membership: "held_out_eval"`。
`outcome`	每个模型版本在评估组上测得的结果，附带置信区间。
`next_allocation`	下一个周期采集什么，以及原因。

记录示例

{
  "experiment_id": "cx_dishwasher_rack_regrasp",
  "status": "validating",
  "model_version": "your-policy@2026-09-20",
  "failure_condition": {
    "mistake_type": "slip_during_place",
    "failure_stage": "place",
    "taxonomy_version": "3",
    "conditions": ["lower_rack_pulled_out", "wet_ceramic", "rack_obstacle_present"]
  },
  "hypothesis": "Adding expert sequences with slip and recovery on lower dishwasher racks raises success on the rack-loading cohort and lowers the intervention rate.",
  "coverage_cells": [
    {
      "environment": "kitchen",
      "mechanism": "dishwasher_pull_rack",
      "material": "ceramic_wet",
      "interaction_primitive": "place",
      "failure_mode": "regrasp_after_slip",
      "embodiment": "human_egocentric"
    }
  ],
  "capture_campaign": { "project_uid": "<project-uid>" },
  "dataset_release": { "dataset": "your-org/kitchen-manipulation", "release": "r4" },
  "evaluation_cohort": { "cohort_id": "eval_kitchen_racks", "version": "2" },
  "outcome": null,
  "next_allocation": null
}

在 Avala 重新评估下一个模型版本之前，outcome 和 next_allocation 保持为空。

记录如何关联现有对象

能力实验保存的是引用。每个字段都指向一个您已经可以在 Mission Control、API、SDK 和 MCP 服务器中打开的对象。

实验字段	现有对象	读取位置
`failure_condition`	显示该失败的机群录制和机群事件，以及失败序列的结果标签	`client.fleet.recordings.get(...)`、`client.fleet.events.list(recording_id=...)`、`client.sequence_outcomes.list(owner, slug, outcome=...)`、MCP `fleet_get_recording`、`fleet_list_events`、`list_sequence_outcomes`
`capture_campaign`	运行该采集活动的项目	`client.projects.get(uid)`、MCP `list_capture_campaigns`、`get_campaign_acceptance_summary`
`coverage_cells`	采集活动项目上的验收覆盖	MCP `get_campaign_acceptance_coverage`
`dataset_release`	一个数据集及其切片	`client.datasets.get_by_slug(owner, slug)`、`client.slices.get(owner, slug)`、MCP `get_dataset`、`get_slice`
`evaluation_cohort`	一个留出评估场景的切片，不进入任何训练发布版本	`client.slices.get(owner, slug)`、`client.sequence_outcomes.list(owner, slug, evaluation_membership="held_out_eval")`、MCP `get_slice`、`list_sequence_outcomes`

失败与恢复通道和每个评估组都以切片形式交付。您可以用 client.slices.list_items(owner, slug) 列出其中的数据项。

生命周期

状态	含义
`proposed`	Avala 根据差距报告起草了假设和目标覆盖单元。
`approved`	您批准了简报。采集活动已开启。
`collecting`	序列正在被采集、审核和验收。
`released`	数据集发布版本已发布。您正在其上训练。
`validating`	Avala 正在评估组上为新的模型版本打分。
`closed`	结果已记录，下一次分配已设定。

已关闭的实验会保留在记录中。针对同一失败条件的下一个实验会链接回它，因此您可以跨模型版本追踪一项能力。