루프
각 사이클은 플릿이 실제 환경에서 하는 일에서 시작하고, 학습에 쓸 수 있는 릴리스로 끝납니다.1
관찰
로봇이 작동합니다. 롤아웃, 개입, 실패가 플릿 녹화와 이벤트로 Avala에 들어옵니다. 실패 수집을 참조하세요.
2
진단
Avala는 롤아웃을 분할하고, 실패를 실패 분류 체계로 클러스터링하고, 갭 리포트를 작성합니다.
3
평가
Avala는 현재 모델 버전을 홀드아웃 실제 환경 평가 장면에서 점수화합니다. 평가를 참조하세요.
5
학습
고객이 릴리스로 모델을 학습합니다. 학습은 고객 쪽에서 진행됩니다.
6
검증
Avala는 같은 홀드아웃 장면에서 새 모델 버전을 다시 평가하고, 실패 모드별 변화를 보고합니다.
8
관찰
새 모델이 플릿으로 돌아갑니다. 그 롤아웃이 다음 사이클을 시작합니다.
역할 분담
모델이 무엇을 배우고 언제 배포될지는 고객이 결정합니다. Avala는 각 결정에 필요한 근거와 데이터를 제공합니다.
프로그램 진행 방식
모든 프로그램은 같은 다섯 단계를 따릅니다. 각 단계는 직접 검토할 수 있는 결과물을 만듭니다.- 실패. 모델이 실패했거나 도움이 필요했던 롤아웃을 보냅니다. Avala는 이를 플릿 녹화와 이벤트로 읽습니다.
- 갭 리포트. Avala는 실패를 실패 모드별로 묶고, 빠졌거나 부족한 커버리지 셀을 지정합니다.
- 브리프. Avala는 갭 리포트를 수집 브리프로 바꿉니다. 브리프에는 목표 커버리지 셀, 집중도 한도, 승인 기준, 평가 코호트가 나열됩니다. 고객이 이를 승인합니다.
- 배치. Avala는 배치를 수집하고 검토합니다. 각 납품에는 커버리지 리포트와 시퀀스별 메타데이터가 함께 제공됩니다.
- 재평가. Avala는 다음 모델 버전을 홀드아웃 장면에서 점수화합니다. 역량 리포트는 무엇이 바뀌었는지 보여주고 다음 배분을 정합니다.