평가
모델이 실제로 일할 곳에서 모델을 시험하세요.
Avala는 배포 환경과 맞는 실제 가정과 작업장의 보류 장면으로 모델을 비공개로 평가합니다. 누출 통제로 이 장면들은 학습에 들어가지 않습니다. 사람이 모든 점수를 감사하고, 모든 실패가 다음 데이터 수집의 출발점이 됩니다.
홀드아웃
평가 장면은 비공개로 유지되며 학습에 쓰이지 않습니다.
배포 환경에 맞춤
평가 장면은 로봇이 일할 곳에 맞춰 고른 실제 가정과 작업장에서, 학습 데이터와 같은 장면 기준으로 수집합니다.
고객 모델 전용
코호트는 고객의 모델을 위해 구성하고 비공개로 채점합니다. 그 장면과 그 안의 가정, 물체, 작업자는 어떤 학습 릴리스에도 포함되지 않습니다.
누출 통제
모든 시퀀스에는 위치, 물체, 메커니즘, 작업자, 환경 계열별 누출 그룹이 붙습니다. 채점 전에 Avala는 고객의 학습 릴리스를 누출 그룹과 영상 지문으로 버전 관리된 코호트와 대조하고, 그 결과를 보고서에 기록합니다.
채점
모델이 사전 채점하고, 사람이 감사합니다.
비전 언어 모델 사전 채점
비전 언어 모델이 작업의 하위 작업과 성공 기준에 비추어 각 시퀀스의 점수를 매깁니다.
사람 감사
교육받은 검토자가 점수를 감사합니다. 검토자 의견이 다르면 합의로 결정합니다.
평가자 간 일치도
각 리포트에는 검토자들이 얼마나 자주 의견이 일치했는지 표시되므로, 각 점수가 얼마나 확실한지 알 수 있습니다.
센서 결함이 있거나 캘리브레이션이 누락된 시퀀스는 무효로 표시되어 지표에서 제외됩니다. 모델 실패로 집계되지 않습니다.
리포트
모든 평가 리포트가 측정하는 항목.
성공 확률
작업을 완료한 시퀀스의 비율.
부분 진행도
성공하지 못한 시퀀스가 하위 작업 중 어디까지 진행했는지.
성공까지 걸린 시간
성공한 시퀀스에 걸린 시간.
사람 대비 처리량
같은 작업을 하는 숙련자와 비교한 작업 속도.
개입률
사람이 개입해야 했던 빈도.
실패 모드 분포
어떤 실패가 발생했는지를 실패 분류 체계로 묶은 것.
복구율
모델이 자신의 실수에서 복구한 빈도.
신뢰 구간
모든 지표에 구간이 함께 제공되므로 두 모델 버전을 공정하게 비교할 수 있습니다.
보고서 이후
모든 실패가 다음 데이터 수집의 출발점이 됩니다.
실패한 시퀀스에서 작업이 시작됩니다. 각 시퀀스는 같은 네 단계를 거칩니다.
갭 보고서
실패는 실패 모드와 공통 조건별로 묶이므로, 보고서가 모델이 무너지는 지점을 짚어 줍니다.
수집 브리프
각 갭은 브리프가 됩니다. 다음에 수집할 워크플로, 환경, 변형을 담습니다.
표적 데이터
Avala는 브리프가 요구하는 데이터를 같은 커버리지 기준과 누출 검사 아래에서 수집하고 라벨링합니다.
재평가
다음 버전은 고객이 학습시킵니다. Avala는 같은 보류 코호트로 이를 채점해, 갭이 메워졌는지 확인할 수 있게 합니다.
채점된 모든 시퀀스에는 결과 라벨이 붙습니다. 무슨 일이 있었는지, 어디까지 진행됐는지, 학습용인지 보류 평가용인지, 그리고 누출 그룹입니다. 라벨은 API, Python 및 TypeScript SDK, MCP로 읽고 필터링할 수 있습니다.
비교
같은 코호트에서 두 버전의 점수를 매기세요.
현재 모델과 후보 모델을 같은 홀드아웃 코호트에서 실행합니다. 리포트는 두 모델을 지표별, 실패 모드별로 나란히 보여주므로, 배포 결정은 직접 확인할 수 있는 근거에 기반합니다.