품질 프로세스
모든 어노테이션은 내보내기에 도달하기 전에 3단계 품질 보증 파이프라인을 거칩니다.1단계: 자동 검사
사람 리뷰어가 결과를 보기 전에, 자동 검증이 구조적 오류를 포착합니다.| 검사 | 포착 내용 |
|---|---|
| 스키마 검증 | 누락된 필수 속성, 유효하지 않은 라벨 값, 범위 밖 좌표 |
| 기하학적 검증 | 면적이 0인 바운딩 박스, 자기교차 폴리곤, 포인트 클라우드 범위 밖 큐보이드 |
| 일관성 검사 | 중복 객체 ID, 프레임 간 깨진 추적 링크, 라벨/속성 불일치 |
| 커버리지 검사 | 프로젝트 온톨로지에 따라 라벨이 있어야 하는 미주석 영역 |
2단계: 사람 리뷰
전용 리뷰어 — 귀하의 온톨로지에 대한 깊은 지식을 가진 시니어 어노테이터 — 가 각 결과의 정확성, 완전성, 라벨링 가이드라인 준수 여부를 검사합니다. 리뷰어 확인 항목:- 올바른 객체 분류 및 속성 값
- 타이트한 바운딩 박스 / 폴리곤 / 큐보이드 맞춤
- 프레임 간 일관된 객체 추적
- 프로젝트별 지침에 따른 에지 케이스 처리
3단계: 전문가 감사
리뷰된 결과의 무작위 샘플이 도메인 전문가에게 최종 감사를 위해 에스컬레이션됩니다. 이 단계는 리뷰어 정확도를 보정하고 학습 데이터에 영향을 미치기 전에 체계적 이슈를 포착합니다. 감사 결과는 어노테이터 교육 및 가이드라인 개선에 피드백되어 지속적인 개선 루프를 만듭니다.정확도 목표
| 지표 | 목표 |
|---|---|
| 1차 합격률 | 어노테이션의 99% 이상이 재작업 없이 승인 |
| 분류 정확도 | 99% 이상 올바른 라벨 할당 |
| 위치 정확도 | 바운딩 박스 IoU > 0.90 (그라운드 트루스 대비) |
| 추적 일관성 | 프레임 간 99% 이상 올바른 객체 ID 연속성 |
| 속성 정확도 | 99% 이상 올바른 속성 값 (차폐, 잘림 등) |
정확도 목표는 Avala의 관리형 라벨링 서비스에 적용됩니다. 셀프서비스 어노테이션 정확도는 귀하 팀의 어노테이터와 QA 구성에 따라 달라집니다.
처리 시간
처리 시간은 어노테이션 복잡도와 볼륨에 따라 달라집니다. 아래 표는 Avala의 관리형 라벨링 서비스를 사용할 때 일반적인 어노테이션 유형별 일반적인 타임라인을 보여줍니다.| 어노테이션 유형 | 일반적인 처리 시간 | 비고 |
|---|---|---|
| 2D 바운딩 박스 (이미지) | 1-3 영업일 | 표준 객체 탐지 |
| 2D 폴리곤 (이미지) | 2-5 영업일 | 인스턴스 세그멘테이션 |
| 시맨틱 세그멘테이션 (이미지) | 3-7 영업일 | 픽셀 수준 분류 |
| 3D 큐보이드 (LiDAR) | 3-7 영업일 | BEV + 원근 뷰를 사용한 포인트 클라우드 어노테이션 |
| 멀티센서 3D (LiDAR + 카메라) | 5-10 영업일 | 동기화된 센서 어노테이션 |
| 비디오 객체 추적 | 3-7 영업일 | 시퀀스당, 프레임 수와 객체 밀도에 따라 다름 |
| 키포인트 어노테이션 | 2-5 영업일 | 포즈 추정 및 랜드마크 라벨링 |
인력 품질
도메인 전문화
Avala의 어노테이터는 긱 워커가 아닌 전문 직업인입니다. 각 어노테이터는 12개월 이상 특정 도메인(자율주행, 로보틱스, 의료 영상)에 전문화됩니다.| 속성 | 세부사항 |
|---|---|
| 전문화 기간 | 단일 고객 도메인에서 12개월 이상 |
| 교육 | 귀하의 온톨로지, 에지 케이스 라이브러리, 라벨링 가이드라인을 통한 프로젝트별 온보딩 |
| 유지율 | 연간 90% 이상 유지 — 어노테이터가 깊은 기관 지식을 구축 |
| 팀 규모 | 모든 도메인에 걸쳐 15,000명 이상의 어노테이터 |
유지율이 중요한 이유
높은 어노테이터 유지율은 데이터 품질에 직접적인 영향을 미칩니다:- 기관 지식 — 어노테이터는 시간이 지남에 따라 귀하의 에지 케이스, 명명 규칙, 도메인별 뉘앙스를 학습합니다. 새 어노테이터가 같은 수준에 도달하려면 몇 주가 걸립니다.
- 재작업 감소 — 경험 많은 어노테이터는 1차에서 더 적은 오류를 생성하여 리뷰 오버헤드와 처리 시간을 줄입니다.
- 온톨로지 진화 — 라벨 분류 체계를 업데이트할 때, 경험 많은 어노테이터는 변경 이유를 이해하기 때문에 더 빠르게 적응합니다.
API를 통한 품질 지표
프로젝트의 품질 지표는 API와 SDK를 통해 프로그래밍 방식으로 사용할 수 있습니다.프로젝트 수준 지표
작업 수준 품질 데이터
품질 메타데이터 포함 내보내기
내보내기를 생성할 때, 각 어노테이션 결과에는 QA 리뷰 상태가 포함되어 학습 파이프라인에서 품질 수준별로 필터링할 수 있습니다.품질 관리 구성
셀프서비스 어노테이션의 경우, Avala는 구성 가능한 QA 워크플로우를 제공합니다.| 기능 | 설명 |
|---|---|
| 다단계 리뷰 | 승인 전에 어노테이션을 하나 이상의 리뷰 단계를 거치도록 라우팅 |
| 합의 워크플로우 | 여러 어노테이터가 동일한 라벨에 동의하도록 요구 |
| 승인 기준 | 작업 승인을 위한 최소 품질 임계값 설정 |
| 이슈 추적 | 코멘트와 해결 상태로 어노테이션 이슈를 플래그 및 추적 |
| 어노테이터 간 합의 | 동일 데이터에 대한 어노테이터 간 일관성 측정 |
다음 단계
품질 관리 가이드
프로젝트에 대한 다단계 리뷰, 합의, 승인 워크플로우를 구성하세요.
추적성
모든 어노테이션을 소스 데이터, 어노테이터, QA 리뷰까지 추적하세요.
Avala를 선택하는 이유
Avala가 Scale AI, Labelbox, Label Studio와 어떻게 다른지 확인하세요.
영업팀에 문의
관리형 라벨링, 맞춤 SLA, 엔터프라이즈 배포에 대해 논의하세요.