메인 콘텐츠로 건너뛰기
Avala의 관리형 라벨링 서비스는 체계적인 QA 프로세스, 전문 도메인 전문가, 측정 가능한 품질 지표를 기반으로 프로덕션 품질의 어노테이션을 제공합니다. 이 페이지는 Avala 인력을 사용한 어노테이션에서 기대할 수 있는 사항을 문서화합니다.

품질 프로세스

모든 어노테이션은 내보내기에 도달하기 전에 3단계 품질 보증 파이프라인을 거칩니다.

1단계: 자동 검사

사람 리뷰어가 결과를 보기 전에, 자동 검증이 구조적 오류를 포착합니다.
검사포착 내용
스키마 검증누락된 필수 속성, 유효하지 않은 라벨 값, 범위 밖 좌표
기하학적 검증면적이 0인 바운딩 박스, 자기교차 폴리곤, 포인트 클라우드 범위 밖 큐보이드
일관성 검사중복 객체 ID, 프레임 간 깨진 추적 링크, 라벨/속성 불일치
커버리지 검사프로젝트 온톨로지에 따라 라벨이 있어야 하는 미주석 영역

2단계: 사람 리뷰

전용 리뷰어 — 귀하의 온톨로지에 대한 깊은 지식을 가진 시니어 어노테이터 — 가 각 결과의 정확성, 완전성, 라벨링 가이드라인 준수 여부를 검사합니다. 리뷰어 확인 항목:
  • 올바른 객체 분류 및 속성 값
  • 타이트한 바운딩 박스 / 폴리곤 / 큐보이드 맞춤
  • 프레임 간 일관된 객체 추적
  • 프로젝트별 지침에 따른 에지 케이스 처리

3단계: 전문가 감사

리뷰된 결과의 무작위 샘플이 도메인 전문가에게 최종 감사를 위해 에스컬레이션됩니다. 이 단계는 리뷰어 정확도를 보정하고 학습 데이터에 영향을 미치기 전에 체계적 이슈를 포착합니다. 감사 결과는 어노테이터 교육 및 가이드라인 개선에 피드백되어 지속적인 개선 루프를 만듭니다.

정확도 목표

지표목표
1차 합격률어노테이션의 99% 이상이 재작업 없이 승인
분류 정확도99% 이상 올바른 라벨 할당
위치 정확도바운딩 박스 IoU > 0.90 (그라운드 트루스 대비)
추적 일관성프레임 간 99% 이상 올바른 객체 ID 연속성
속성 정확도99% 이상 올바른 속성 값 (차폐, 잘림 등)
정확도 목표는 Avala의 관리형 라벨링 서비스에 적용됩니다. 셀프서비스 어노테이션 정확도는 귀하 팀의 어노테이터와 QA 구성에 따라 달라집니다.

처리 시간

처리 시간은 어노테이션 복잡도와 볼륨에 따라 달라집니다. 아래 표는 Avala의 관리형 라벨링 서비스를 사용할 때 일반적인 어노테이션 유형별 일반적인 타임라인을 보여줍니다.
어노테이션 유형일반적인 처리 시간비고
2D 바운딩 박스 (이미지)1-3 영업일표준 객체 탐지
2D 폴리곤 (이미지)2-5 영업일인스턴스 세그멘테이션
시맨틱 세그멘테이션 (이미지)3-7 영업일픽셀 수준 분류
3D 큐보이드 (LiDAR)3-7 영업일BEV + 원근 뷰를 사용한 포인트 클라우드 어노테이션
멀티센서 3D (LiDAR + 카메라)5-10 영업일동기화된 센서 어노테이션
비디오 객체 추적3-7 영업일시퀀스당, 프레임 수와 객체 밀도에 따라 다름
키포인트 어노테이션2-5 영업일포즈 추정 및 랜드마크 라벨링
처리 시간은 데이터가 업로드되고 프로젝트 온톨로지가 확정된 시점부터 시작됩니다. 파일럿 데이터셋(1,000개 미만 항목)은 종종 더 빠르게 완료될 수 있습니다.
프로젝트에 특정 SLA가 필요하신가요? 보장된 처리 시간 약속에 대해 논의하려면 sales@avala.ai에 문의하세요.

인력 품질

도메인 전문화

Avala의 어노테이터는 긱 워커가 아닌 전문 직업인입니다. 각 어노테이터는 12개월 이상 특정 도메인(자율주행, 로보틱스, 의료 영상)에 전문화됩니다.
속성세부사항
전문화 기간단일 고객 도메인에서 12개월 이상
교육귀하의 온톨로지, 에지 케이스 라이브러리, 라벨링 가이드라인을 통한 프로젝트별 온보딩
유지율연간 90% 이상 유지 — 어노테이터가 깊은 기관 지식을 구축
팀 규모모든 도메인에 걸쳐 15,000명 이상의 어노테이터

유지율이 중요한 이유

높은 어노테이터 유지율은 데이터 품질에 직접적인 영향을 미칩니다:
  • 기관 지식 — 어노테이터는 시간이 지남에 따라 귀하의 에지 케이스, 명명 규칙, 도메인별 뉘앙스를 학습합니다. 새 어노테이터가 같은 수준에 도달하려면 몇 주가 걸립니다.
  • 재작업 감소 — 경험 많은 어노테이터는 1차에서 더 적은 오류를 생성하여 리뷰 오버헤드와 처리 시간을 줄입니다.
  • 온톨로지 진화 — 라벨 분류 체계를 업데이트할 때, 경험 많은 어노테이터는 변경 이유를 이해하기 때문에 더 빠르게 적응합니다.

API를 통한 품질 지표

프로젝트의 품질 지표는 API와 SDK를 통해 프로그래밍 방식으로 사용할 수 있습니다.

프로젝트 수준 지표

from avala import Client

client = Client()

# 품질 지표를 포함한 프로젝트 세부정보 가져오기
projects = client.projects.list()

for project in projects:
    print(f"Project: {project.name}")
    print(f"  Tasks completed: {project.task_count}")

작업 수준 품질 데이터

# 리뷰 상태가 포함된 작업 목록
tasks = client.tasks.list(project="project_uid")

for task in tasks:
    print(f"Task: {task.uid}")
    print(f"  Status: {task.status}")

품질 메타데이터 포함 내보내기

내보내기를 생성할 때, 각 어노테이션 결과에는 QA 리뷰 상태가 포함되어 학습 파이프라인에서 품질 수준별로 필터링할 수 있습니다.
export = client.exports.create(
    name="Training data - QA passed only",
    format="avala-json-external",
    projects=["project_uid"]
)

품질 관리 구성

셀프서비스 어노테이션의 경우, Avala는 구성 가능한 QA 워크플로우를 제공합니다.
기능설명
다단계 리뷰승인 전에 어노테이션을 하나 이상의 리뷰 단계를 거치도록 라우팅
합의 워크플로우여러 어노테이터가 동일한 라벨에 동의하도록 요구
승인 기준작업 승인을 위한 최소 품질 임계값 설정
이슈 추적코멘트와 해결 상태로 어노테이션 이슈를 플래그 및 추적
어노테이터 간 합의동일 데이터에 대한 어노테이터 간 일관성 측정
설정 지침은 품질 관리를 참조하세요.

다음 단계

품질 관리 가이드

프로젝트에 대한 다단계 리뷰, 합의, 승인 워크플로우를 구성하세요.

추적성

모든 어노테이션을 소스 데이터, 어노테이터, QA 리뷰까지 추적하세요.

Avala를 선택하는 이유

Avala가 Scale AI, Labelbox, Label Studio와 어떻게 다른지 확인하세요.

영업팀에 문의

관리형 라벨링, 맞춤 SLA, 엔터프라이즈 배포에 대해 논의하세요.