> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 평가

> 홀드아웃 실제 환경 평가 장면, 감사된 일치도 기반 점수화, 역량 지표, 역량 리포트

Avala는 학습 데이터가 전혀 닿지 않는 실제 환경 장면에서 모델을 측정합니다. 모든 모델 버전을 같은 장면으로 점수화하므로 버전을 직접 비교할 수 있습니다.

## 홀드아웃 평가 장면

평가 코호트는 고정된 실제 환경 장면과 작업의 집합입니다. 각 코호트는 특정 [커버리지 셀](/docs/ko/fleet-learning/coverage.md)과 실패 모드를 목표로 합니다.

* **학습용으로 릴리스하지 않습니다.** 코호트의 시퀀스는 [결과 라벨](/docs/ko/fleet-learning/sequence-metadata.md)에 `evaluation_membership: "held_out_eval"`을 가집니다. 이 시퀀스는 학습 릴리스에 절대 나타나지 않습니다.
* **누출 그룹으로 분리합니다.** 코호트의 어떤 장소, 물체 세트, 메커니즘 단위, 작업자, 환경 유형도 학습 릴리스에 나타나지 않습니다. [누출 그룹](/docs/ko/fleet-learning/sequence-metadata.md)을 참조하세요.
* **오염을 검사합니다.** 각 릴리스 전에 Avala는 릴리스의 핑거프린트를 생성하고 모든 활성 코호트와 대조합니다. 오염 검사에는 버전이 있습니다. 각 리포트는 검사 버전과 대조한 코호트 버전을 명시합니다.
* **버전을 관리합니다.** 코호트는 새 버전으로만 바뀝니다. 리포트는 항상 코호트 버전을 명시하므로 수치를 계속 비교할 수 있습니다.

## 점수화

모든 평가 실행은 두 단계로 점수화됩니다.

1. **VLM 사전 점수.** 비전 언어 모델이 작업 기준표에 따라 각 시퀀스와 하위 작업을 점수화합니다. `outcome`, 경계가 포함된 `subtasks`, 그리고 실패 분류 체계의 `mistake_type`과 `failure_stage`를 제안합니다. 사전 점수는 `source: "model"`과 `confidence`와 함께 저장됩니다.
2. **사람 감사.** 훈련된 리뷰어가 사전 점수를 확인합니다. 이견이 있는 모든 시퀀스와 나머지의 무작위 표본을 감사하고 라벨을 수정합니다. 수정된 라벨은 `source: "human"`인 새 버전입니다. 이전 버전은 라벨 이력에 남습니다.

점수화는 Avala가 수행하는 서비스입니다. Avala는 각 실행의 평가자 간 일치도를 보고합니다. 리포트에는 VLM 사전 점수와 감사 사이의 일치도, 이중 점수화 표본에서 사람 리뷰어 사이의 일치도가 담깁니다. 지표는 일치도가 브리프에 정한 임계값을 충족할 때만 보고됩니다.

## 지표

| 지표 | 정의 |
| - | - |
| 성공 확률 | 목표 상태에 도달한 시퀀스의 비율과 95% 신뢰 구간. |
| 부분 진행도 | 시퀀스당 완료된 하위 작업 비율의 평균. |
| 성공까지 걸린 시간 | 성공한 시퀀스에서 목표 상태에 도달하기까지 걸린 시간의 중앙값. |
| 사람 대비 처리량 | 시간당 완료한 작업 수를 같은 코호트의 전문가 기준값으로 나눈 값. |
| 개입률 | 시퀀스당, 그리고 자율 운영 시간당 사람 개입 횟수. |
| 실패 모드 분포 | 분류 체계의 각 실패 모드에 속하는 실패 시퀀스의 비율. |
| 복구율 | 오류가 발생한 시퀀스 중 로봇이 도움 없이 복구하고 작업을 완료한 비율. |

각 지표는 전체와 커버리지 셀별로 보고됩니다. 안정적인 구간을 얻기에 시퀀스가 너무 적은 셀은 표시됩니다.

## 역량 리포트

Avala는 프로그램의 일부로 매 평가 후 역량 리포트를 제공합니다. 이 리포트는 한 가지 질문에 답합니다: 이 모델 버전은 무엇을 할 수 있고, 무엇이 바뀌었습니까?

| 섹션 | 내용 |
| - | - |
| 범위 | 비교한 모델 버전, 코호트 ID와 버전, 오염 검사 버전, 실행 날짜. |
| 요약 | 모델 버전별 각 지표와 신뢰 구간. |
| 셀별 결과 | 커버리지 셀별 지표. 부족한 셀은 표시됩니다. |
| 실패 모드 | 모델 버전별 실패 모드 분포. 각 모드의 예시 시퀀스. |
| 복구 | 복구율과 그 근거가 되는 실패 및 복구 예시. |
| 점수화 품질 | 감사 표본 크기와 평가자 간 일치도. |
| 실험 | 열려 있는 각 [역량 실험](/docs/ko/fleet-learning/capability-experiments.md), 그 가설, 측정된 결과. |
| 다음 배분 | 다음 브리프가 목표로 하는 셀과 실패 모드, 그리고 그 이유. |

리포트는 모든 수치를 해당 시퀀스에 연결합니다. 어떤 예시든 Mission Control에서 열 수 있습니다.

## 고객이 제공하는 것

고객은 평가할 모델 버전을 제공합니다. 브리프는 각 평가 실행이 어디서 어떻게 진행될지 정합니다. 평가 롤아웃은 실패와 같은 방식으로 Avala에 전달됩니다. [실패 수집](/docs/ko/fleet-learning/failure-ingestion.md)을 참조하세요.

오픈 소스 평가 도구인 Inspect Robots로 이미 평가를 실행하고 있다면 그 로그를 가져올 수 있습니다. 각 시행은 시퀀스 하나에 라벨을 붙입니다. [실패 수집](/docs/ko/fleet-learning/failure-ingestion.md)의 평가 로그 가져오기 섹션을 참조하세요.

감사된 라벨은 평가 시퀀스의 결과 라벨로 저장되므로 고객이 직접 읽을 수 있습니다. 다음 명령은 실패하거나 중단된 홀드아웃 시퀀스를 나열합니다:

```bash theme={null}
avala sequence-outcomes list your-org kitchen-eval --evaluation-membership held_out_eval --outcome failure,aborted
```

API, SDK, MCP 서버는 `model_version`으로도 필터링할 수 있으므로 정책 버전을 비교할 수 있습니다. [시퀀스 메타데이터](/docs/ko/fleet-learning/sequence-metadata.md)의 결과 라벨 읽기와 쓰기 섹션을 참조하세요.