能力実験 - Avala Documentation

能力実験は、フリートラーニングのループの 1 回分を書き記したものです。特定のモデルバージョンで見られる失敗から始まります。どのデータがそれを解決するかについての仮説を述べます。測定された結果と、次の配分についての決定で終わります。 Avala は、ギャップレポートの失敗条件ごとに能力実験を開きます。Avala は収集、リリース、再評価を通じて記録を最新に保ちます。お客様は各能力レポートと一緒にこの記録を受け取ります。

フィールド

フィールド	内容
`model_version`	失敗を示したモデルバージョンです。この識別子はお客様が提供します。
`failure_condition`	失敗タクソノミーから取った、失敗とそれが現れる条件です。`mistake_type` と `failure_stage` は、失敗したシーケンスの結果ラベルと同じタグを使います。
`hypothesis`	検証可能な記述です。どのデータがどのメトリクスを、どの方向に変えるべきかを示します。
`coverage_cells`	実験が対象とするカバレッジセルです。
`capture_campaign`	データを収集するキャプチャキャンペーンです。
`dataset_release`	新しいシーケンスを含む、バージョン管理されたデータセットリリースです。
`evaluation_cohort`	結果の測定に使う、ホールドアウトされた評価シーンです。そのシーケンスは `evaluation_membership: "held_out_eval"` を持ちます。
`outcome`	各モデルバージョンについて、評価コホートで測定された結果です。信頼区間を含みます。
`next_allocation`	次のサイクルで何を収集するか、そしてその理由です。

記録の例

{
  "experiment_id": "cx_dishwasher_rack_regrasp",
  "status": "validating",
  "model_version": "your-policy@2026-09-20",
  "failure_condition": {
    "mistake_type": "slip_during_place",
    "failure_stage": "place",
    "taxonomy_version": "3",
    "conditions": ["lower_rack_pulled_out", "wet_ceramic", "rack_obstacle_present"]
  },
  "hypothesis": "Adding expert sequences with slip and recovery on lower dishwasher racks raises success on the rack-loading cohort and lowers the intervention rate.",
  "coverage_cells": [
    {
      "environment": "kitchen",
      "mechanism": "dishwasher_pull_rack",
      "material": "ceramic_wet",
      "interaction_primitive": "place",
      "failure_mode": "regrasp_after_slip",
      "embodiment": "human_egocentric"
    }
  ],
  "capture_campaign": { "project_uid": "<project-uid>" },
  "dataset_release": { "dataset": "your-org/kitchen-manipulation", "release": "r4" },
  "evaluation_cohort": { "cohort_id": "eval_kitchen_racks", "version": "2" },
  "outcome": null,
  "next_allocation": null
}

outcome と next_allocation は、Avala が次のモデルバージョンを再評価するまで空のままです。

記録と既存オブジェクトの関係

能力実験は参照を保持します。各フィールドは、Mission Control、API、SDK、MCP サーバーですでに開けるオブジェクトを指しています。

実験フィールド	既存オブジェクト	読み取り方法
`failure_condition`	失敗を示すフリートレコーディングとフリートイベント、および失敗したシーケンスの結果ラベル	`client.fleet.recordings.get(...)`、`client.fleet.events.list(recording_id=...)`、`client.sequence_outcomes.list(owner, slug, outcome=...)`、MCP `fleet_get_recording`、`fleet_list_events`、`list_sequence_outcomes`
`capture_campaign`	キャプチャキャンペーンを実行するプロジェクト	`client.projects.get(uid)`、MCP `list_capture_campaigns`、`get_campaign_acceptance_summary`
`coverage_cells`	キャンペーンプロジェクトの承認カバレッジ	MCP `get_campaign_acceptance_coverage`
`dataset_release`	データセットとそのスライス	`client.datasets.get_by_slug(owner, slug)`、`client.slices.get(owner, slug)`、MCP `get_dataset`、`get_slice`
`evaluation_cohort`	ホールドアウトされた評価シーンのスライスです。どのトレーニングリリースにも含まれません	`client.slices.get(owner, slug)`、`client.sequence_outcomes.list(owner, slug, evaluation_membership="held_out_eval")`、MCP `get_slice`、`list_sequence_outcomes`

失敗とリカバリーのレーンと各評価コホートは、スライスとして納品されます。client.slices.list_items(owner, slug) でアイテムを一覧できます。

ライフサイクル

ステータス	意味
`proposed`	Avala がギャップレポートから仮説と対象カバレッジセルを起草しました。
`approved`	お客様がブリーフを承認しました。キャプチャキャンペーンが開始されています。
`collecting`	シーケンスをキャプチャ、レビュー、承認しています。
`released`	データセットリリースが公開されました。お客様がそれで訓練しています。
`validating`	Avala が評価コホートで新しいモデルバージョンをスコアリングしています。
`closed`	結果が記録され、次の配分が決まりました。

クローズした実験は記録に残ります。同じ失敗条件に対する次の実験はそれにリンクするため、モデルバージョンをまたいで能力を追跡できます。