> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 역량 실험

> 모델 실패를 가설, 그 가설을 위해 수집한 데이터, 측정된 결과에 연결하는 기록

역량 실험은 [플릿 학습 루프](/docs/ko/fleet-learning/overview.md)의 한 바퀴를 기록한 것입니다. 특정 모델 버전에서 모델이 보이는 실패에서 시작합니다. 어떤 데이터가 그 실패를 고칠지에 대한 가설을 세웁니다. 측정된 결과와 다음 배분에 대한 결정으로 끝납니다.

Avala는 [갭 리포트](/docs/ko/fleet-learning/failure-ingestion.md)의 각 실패 조건마다 역량 실험을 엽니다. Avala는 수집, 릴리스, 재평가 동안 기록을 최신 상태로 유지합니다. 고객은 각 [역량 리포트](/docs/ko/fleet-learning/evaluation.md)와 함께 이 기록을 받습니다.

## 필드

| 필드 | 담는 내용 |
| - | - |
| `model_version` | 실패를 보인 모델 버전. 이 식별자는 고객이 제공합니다. |
| `failure_condition` | 실패 분류 체계에서 가져온 실패와 그 실패가 나타나는 조건. `mistake_type`과 `failure_stage`는 실패한 시퀀스의 [결과 라벨](/docs/ko/fleet-learning/sequence-metadata.md)과 같은 태그를 사용합니다. |
| `hypothesis` | 검증 가능한 진술: 어떤 데이터가 어떤 지표를 어느 방향으로 바꿔야 하는지. |
| `coverage_cells` | 실험이 목표로 하는 [커버리지 셀](/docs/ko/fleet-learning/coverage.md). |
| `capture_campaign` | 데이터를 수집하는 캡처 캠페인. |
| `dataset_release` | 새 시퀀스를 담은, 버전이 지정된 데이터셋 릴리스. |
| `evaluation_cohort` | 결과 측정에 쓰는 홀드아웃 [평가 장면](/docs/ko/fleet-learning/evaluation.md). 이 장면의 시퀀스는 `evaluation_membership: "held_out_eval"`을 가집니다. |
| `outcome` | 각 모델 버전에 대해 평가 코호트에서 측정한 결과와 신뢰 구간. |
| `next_allocation` | 다음 사이클에서 수집할 항목과 그 이유. |

## 기록 예시

```json theme={null}
{
  "experiment_id": "cx_dishwasher_rack_regrasp",
  "status": "validating",
  "model_version": "your-policy@2026-09-20",
  "failure_condition": {
    "mistake_type": "slip_during_place",
    "failure_stage": "place",
    "taxonomy_version": "3",
    "conditions": ["lower_rack_pulled_out", "wet_ceramic", "rack_obstacle_present"]
  },
  "hypothesis": "Adding expert sequences with slip and recovery on lower dishwasher racks raises success on the rack-loading cohort and lowers the intervention rate.",
  "coverage_cells": [
    {
      "environment": "kitchen",
      "mechanism": "dishwasher_pull_rack",
      "material": "ceramic_wet",
      "interaction_primitive": "place",
      "failure_mode": "regrasp_after_slip",
      "embodiment": "human_egocentric"
    }
  ],
  "capture_campaign": { "project_uid": "<project-uid>" },
  "dataset_release": { "dataset": "your-org/kitchen-manipulation", "release": "r4" },
  "evaluation_cohort": { "cohort_id": "eval_kitchen_racks", "version": "2" },
  "outcome": null,
  "next_allocation": null
}
```

`outcome`과 `next_allocation`은 Avala가 다음 모델 버전을 다시 평가할 때까지 비어 있습니다.

## 기록과 기존 객체의 연결

역량 실험은 참조를 담습니다. 각 필드는 Mission Control, API, SDK, MCP 서버에서 이미 열 수 있는 객체를 가리킵니다.

| 실험 필드 | 기존 객체 | 읽는 위치 |
| - | - | - |
| `failure_condition` | 실패를 보여주는 [플릿 녹화](/docs/visualization/fleet/fleet-dashboard.md)와 [플릿 이벤트](/docs/visualization/fleet/events-and-markers.md), 그리고 실패한 시퀀스의 결과 라벨 | `client.fleet.recordings.get(...)`, `client.fleet.events.list(recording_id=...)`, `client.sequence_outcomes.list(owner, slug, outcome=...)`, MCP `fleet_get_recording`, `fleet_list_events`, `list_sequence_outcomes` |
| `capture_campaign` | 캡처 캠페인을 운영하는 [프로젝트](/docs/ko/getting-started/concepts.md) | `client.projects.get(uid)`, MCP `list_capture_campaigns`, `get_campaign_acceptance_summary` |
| `coverage_cells` | 캠페인 프로젝트의 승인 커버리지 | MCP `get_campaign_acceptance_coverage` |
| `dataset_release` | [데이터셋](/docs/ko/getting-started/concepts.md)과 그 [슬라이스](/docs/api-reference/slices.md) | `client.datasets.get_by_slug(owner, slug)`, `client.slices.get(owner, slug)`, MCP `get_dataset`, `get_slice` |
| `evaluation_cohort` | 모든 학습 릴리스에서 제외되는 홀드아웃 평가 장면의 슬라이스 | `client.slices.get(owner, slug)`, `client.sequence_outcomes.list(owner, slug, evaluation_membership="held_out_eval")`, MCP `get_slice`, `list_sequence_outcomes` |

실패 및 복구 레인과 각 평가 코호트는 슬라이스로 제공됩니다. `client.slices.list_items(owner, slug)`로 항목을 나열할 수 있습니다.

## 수명 주기

| 상태 | 의미 |
| - | - |
| `proposed` | Avala가 갭 리포트를 바탕으로 가설과 목표 커버리지 셀의 초안을 작성했습니다. |
| `approved` | 고객이 브리프를 승인했습니다. 캡처 캠페인이 열려 있습니다. |
| `collecting` | 시퀀스를 캡처, 검토, 승인하고 있습니다. |
| `released` | 데이터셋 릴리스가 게시되었습니다. 고객이 이 릴리스로 학습하고 있습니다. |
| `validating` | Avala가 평가 코호트에서 새 모델 버전을 점수화하고 있습니다. |
| `closed` | 결과가 기록되었고 다음 배분이 정해졌습니다. |

종료된 실험도 기록에 남습니다. 같은 실패 조건에 대한 다음 실험은 이전 실험에 연결되므로, 모델 버전에 걸쳐 역량을 추적할 수 있습니다.