홀드아웃 평가 장면
평가 코호트는 고정된 실제 환경 장면과 작업의 집합입니다. 각 코호트는 특정 커버리지 셀과 실패 모드를 목표로 합니다.- 학습용으로 릴리스하지 않습니다. 코호트의 시퀀스는 결과 라벨에
evaluation_membership: "held_out_eval"을 가집니다. 이 시퀀스는 학습 릴리스에 절대 나타나지 않습니다. - 누출 그룹으로 분리합니다. 코호트의 어떤 장소, 물체 세트, 메커니즘 단위, 작업자, 환경 유형도 학습 릴리스에 나타나지 않습니다. 누출 그룹을 참조하세요.
- 오염을 검사합니다. 각 릴리스 전에 Avala는 릴리스의 핑거프린트를 생성하고 모든 활성 코호트와 대조합니다. 오염 검사에는 버전이 있습니다. 각 리포트는 검사 버전과 대조한 코호트 버전을 명시합니다.
- 버전을 관리합니다. 코호트는 새 버전으로만 바뀝니다. 리포트는 항상 코호트 버전을 명시하므로 수치를 계속 비교할 수 있습니다.
점수화
모든 평가 실행은 두 단계로 점수화됩니다.- VLM 사전 점수. 비전 언어 모델이 작업 기준표에 따라 각 시퀀스와 하위 작업을 점수화합니다.
outcome, 경계가 포함된subtasks, 그리고 실패 분류 체계의mistake_type과failure_stage를 제안합니다. 사전 점수는source: "model"과confidence와 함께 저장됩니다. - 사람 감사. 훈련된 리뷰어가 사전 점수를 확인합니다. 이견이 있는 모든 시퀀스와 나머지의 무작위 표본을 감사하고 라벨을 수정합니다. 수정된 라벨은
source: "human"인 새 버전입니다. 이전 버전은 라벨 이력에 남습니다.
지표
각 지표는 전체와 커버리지 셀별로 보고됩니다. 안정적인 구간을 얻기에 시퀀스가 너무 적은 셀은 표시됩니다.
역량 리포트
Avala는 프로그램의 일부로 매 평가 후 역량 리포트를 제공합니다. 이 리포트는 한 가지 질문에 답합니다: 이 모델 버전은 무엇을 할 수 있고, 무엇이 바뀌었습니까?
리포트는 모든 수치를 해당 시퀀스에 연결합니다. 어떤 예시든 Mission Control에서 열 수 있습니다.
고객이 제공하는 것
고객은 평가할 모델 버전을 제공합니다. 브리프는 각 평가 실행이 어디서 어떻게 진행될지 정합니다. 평가 롤아웃은 실패와 같은 방식으로 Avala에 전달됩니다. 실패 수집을 참조하세요. 오픈 소스 평가 도구인 Inspect Robots로 이미 평가를 실행하고 있다면 그 로그를 가져올 수 있습니다. 각 시행은 시퀀스 하나에 라벨을 붙입니다. 실패 수집의 평가 로그 가져오기 섹션을 참조하세요. 감사된 라벨은 평가 시퀀스의 결과 라벨로 저장되므로 고객이 직접 읽을 수 있습니다. 다음 명령은 실패하거나 중단된 홀드아웃 시퀀스를 나열합니다:model_version으로도 필터링할 수 있으므로 정책 버전을 비교할 수 있습니다. 시퀀스 메타데이터의 결과 라벨 읽기와 쓰기 섹션을 참조하세요.