역량 실험 - Avala Documentation

역량 실험은 플릿 학습 루프의 한 바퀴를 기록한 것입니다. 특정 모델 버전에서 모델이 보이는 실패에서 시작합니다. 어떤 데이터가 그 실패를 고칠지에 대한 가설을 세웁니다. 측정된 결과와 다음 배분에 대한 결정으로 끝납니다. Avala는 갭 리포트의 각 실패 조건마다 역량 실험을 엽니다. Avala는 수집, 릴리스, 재평가 동안 기록을 최신 상태로 유지합니다. 고객은 각 역량 리포트와 함께 이 기록을 받습니다.

필드

필드	담는 내용
`model_version`	실패를 보인 모델 버전. 이 식별자는 고객이 제공합니다.
`failure_condition`	실패 분류 체계에서 가져온 실패와 그 실패가 나타나는 조건. `mistake_type`과 `failure_stage`는 실패한 시퀀스의 결과 라벨과 같은 태그를 사용합니다.
`hypothesis`	검증 가능한 진술: 어떤 데이터가 어떤 지표를 어느 방향으로 바꿔야 하는지.
`coverage_cells`	실험이 목표로 하는 커버리지 셀.
`capture_campaign`	데이터를 수집하는 캡처 캠페인.
`dataset_release`	새 시퀀스를 담은, 버전이 지정된 데이터셋 릴리스.
`evaluation_cohort`	결과 측정에 쓰는 홀드아웃 평가 장면. 이 장면의 시퀀스는 `evaluation_membership: "held_out_eval"`을 가집니다.
`outcome`	각 모델 버전에 대해 평가 코호트에서 측정한 결과와 신뢰 구간.
`next_allocation`	다음 사이클에서 수집할 항목과 그 이유.

기록 예시

{
  "experiment_id": "cx_dishwasher_rack_regrasp",
  "status": "validating",
  "model_version": "your-policy@2026-09-20",
  "failure_condition": {
    "mistake_type": "slip_during_place",
    "failure_stage": "place",
    "taxonomy_version": "3",
    "conditions": ["lower_rack_pulled_out", "wet_ceramic", "rack_obstacle_present"]
  },
  "hypothesis": "Adding expert sequences with slip and recovery on lower dishwasher racks raises success on the rack-loading cohort and lowers the intervention rate.",
  "coverage_cells": [
    {
      "environment": "kitchen",
      "mechanism": "dishwasher_pull_rack",
      "material": "ceramic_wet",
      "interaction_primitive": "place",
      "failure_mode": "regrasp_after_slip",
      "embodiment": "human_egocentric"
    }
  ],
  "capture_campaign": { "project_uid": "<project-uid>" },
  "dataset_release": { "dataset": "your-org/kitchen-manipulation", "release": "r4" },
  "evaluation_cohort": { "cohort_id": "eval_kitchen_racks", "version": "2" },
  "outcome": null,
  "next_allocation": null
}

outcome과 next_allocation은 Avala가 다음 모델 버전을 다시 평가할 때까지 비어 있습니다.

기록과 기존 객체의 연결

역량 실험은 참조를 담습니다. 각 필드는 Mission Control, API, SDK, MCP 서버에서 이미 열 수 있는 객체를 가리킵니다.

실험 필드	기존 객체	읽는 위치
`failure_condition`	실패를 보여주는 플릿 녹화와 플릿 이벤트, 그리고 실패한 시퀀스의 결과 라벨	`client.fleet.recordings.get(...)`, `client.fleet.events.list(recording_id=...)`, `client.sequence_outcomes.list(owner, slug, outcome=...)`, MCP `fleet_get_recording`, `fleet_list_events`, `list_sequence_outcomes`
`capture_campaign`	캡처 캠페인을 운영하는 프로젝트	`client.projects.get(uid)`, MCP `list_capture_campaigns`, `get_campaign_acceptance_summary`
`coverage_cells`	캠페인 프로젝트의 승인 커버리지	MCP `get_campaign_acceptance_coverage`
`dataset_release`	데이터셋과 그 슬라이스	`client.datasets.get_by_slug(owner, slug)`, `client.slices.get(owner, slug)`, MCP `get_dataset`, `get_slice`
`evaluation_cohort`	모든 학습 릴리스에서 제외되는 홀드아웃 평가 장면의 슬라이스	`client.slices.get(owner, slug)`, `client.sequence_outcomes.list(owner, slug, evaluation_membership="held_out_eval")`, MCP `get_slice`, `list_sequence_outcomes`

실패 및 복구 레인과 각 평가 코호트는 슬라이스로 제공됩니다. client.slices.list_items(owner, slug)로 항목을 나열할 수 있습니다.

수명 주기

상태	의미
`proposed`	Avala가 갭 리포트를 바탕으로 가설과 목표 커버리지 셀의 초안을 작성했습니다.
`approved`	고객이 브리프를 승인했습니다. 캡처 캠페인이 열려 있습니다.
`collecting`	시퀀스를 캡처, 검토, 승인하고 있습니다.
`released`	데이터셋 릴리스가 게시되었습니다. 고객이 이 릴리스로 학습하고 있습니다.
`validating`	Avala가 평가 코호트에서 새 모델 버전을 점수화하고 있습니다.
`closed`	결과가 기록되었고 다음 배분이 정해졌습니다.

종료된 실험도 기록에 남습니다. 같은 실패 조건에 대한 다음 실험은 이전 실험에 연결되므로, 모델 버전에 걸쳐 역량을 추적할 수 있습니다.