Перейти к основному содержанию
Управляемый сервис разметки Avala предоставляет аннотации продакшн-качества, подкреплённые структурированным процессом QA, профессиональными экспертами предметной области и измеримыми метриками качества. На этой странице описано, что вы можете ожидать при использовании рабочей силы Avala для аннотации.

​
Процесс обеспечения качества

Каждая аннотация проходит через 3-уровневый пайплайн контроля качества, прежде чем попасть в ваш экспорт.

​
Уровень 1: Автоматические проверки

Прежде чем рецензент-человек увидит результат, автоматическая валидация отлавливает структурные ошибки.
ПроверкаЧто обнаруживает
Валидация схемыОтсутствующие обязательные атрибуты, недопустимые значения меток, координаты вне диапазона
Геометрическая валидацияОграничивающие рамки с нулевой площадью, самопересекающиеся полигоны, кубоиды за пределами облака точек
Проверки согласованностиДублирование ID объектов, разорванные связи трекинга между кадрами, несоответствия меток/атрибутов
Проверки покрытияНеразмеченные области, которые должны иметь метки согласно онтологии проекта

​
Уровень 2: Рецензирование человеком

Выделенный рецензент — старший аннотатор с глубоким знанием вашей онтологии — проверяет каждый результат на точность, полноту и соответствие вашим руководствам по разметке. Рецензенты проверяют:
  • Правильность классификации объектов и значений атрибутов
  • Точное прилегание ограничивающих рамок / полигонов / кубоидов
  • Согласованность трекинга объектов между кадрами
  • Обработку граничных случаев согласно инструкциям проекта

​
Уровень 3: Экспертный аудит

Случайная выборка проверенных результатов передаётся экспертам предметной области для финального аудита. Этот уровень калибрует точность рецензентов и выявляет систематические проблемы до того, как они повлияют на ваши обучающие данные. Результаты аудита передаются обратно в обучение аннотаторов и уточнение руководств, создавая цикл непрерывного улучшения.

​
Цели точности

МетрикаЦель
Выход с первого раза> 99% аннотаций принято без доработки
Точность классификации> 99% правильного присвоения меток
Точность локализацииIoU ограничивающих рамок > 0,90 относительно эталона
Согласованность трекинга> 99% правильного сохранения ID объектов между кадрами
Точность атрибутов> 99% правильных значений атрибутов (перекрытие, обрезка и т.д.)
Цели точности применяются к управляемому сервису разметки Avala. Точность самостоятельной аннотации зависит от ваших аннотаторов и конфигурации QA.

​
Сроки выполнения

Сроки зависят от сложности аннотации и объёма. В таблице ниже приведены типичные сроки для распространённых типов аннотации при использовании управляемого сервиса разметки Avala.
Тип аннотацииТипичные срокиПримечания
2D ограничивающие рамки (изображения)1-3 рабочих дняСтандартное обнаружение объектов
2D полигоны (изображения)2-5 рабочих днейСегментация экземпляров
Семантическая сегментация (изображения)3-7 рабочих днейПопиксельная классификация
3D-кубоиды (LiDAR)3-7 рабочих днейАннотация облаков точек с видами BEV + перспектива
Мультисенсорные 3D (LiDAR + камера)5-10 рабочих днейСинхронная аннотация сенсоров
Видео-трекинг объектов3-7 рабочих днейНа последовательность, зависит от количества кадров и плотности объектов
Аннотация ключевых точек2-5 рабочих днейОценка позы и разметка ориентиров
Отсчёт сроков начинается с момента загрузки данных и финализации онтологии проекта. Пилотные наборы данных (< 1 000 элементов) часто могут быть завершены быстрее.
Нужен конкретный SLA для вашего проекта? Свяжитесь с sales@avala.ai для обсуждения гарантированных обязательств по срокам.

​
Качество рабочей силы

​
Специализация в предметной области

Аннотаторы Avala — это профессионалы своего дела, а не гиг-работники. Каждый аннотатор специализируется в конкретной области (автономное вождение, робототехника, медицинская визуализация) в течение 12 месяцев и более.
ХарактеристикаДетали
Период специализации12+ месяцев на одном клиентском домене
ОбучениеОнбординг по конкретному проекту с вашей онтологией, библиотекой граничных случаев и руководствами по разметке
Коэффициент удержания> 90% годового удержания — аннотаторы накапливают глубокие институциональные знания
Размер команды15 000+ аннотаторов по всем доменам

​
Почему удержание важно

Высокий коэффициент удержания аннотаторов напрямую влияет на качество данных:
  • Институциональные знания — Аннотаторы со временем изучают ваши граничные случаи, соглашения об именовании и специфику предметной области. Новому аннотатору нужны недели, чтобы достичь того же уровня.
  • Меньше циклов доработки — Опытные аннотаторы допускают меньше ошибок с первого раза, снижая накладные расходы на рецензирование и сроки выполнения.
  • Эволюция онтологии — При обновлении таксономии меток опытные аннотаторы адаптируются быстрее, потому что понимают логику изменений.

​
Метрики качества через API

Метрики качества ваших проектов доступны программно через API и SDK.

​
Метрики на уровне проекта

from avala import Client

client = Client()

# Get project details including quality metrics
projects = client.projects.list()

for project in projects:
    print(f"Project: {project.name}")
    print(f"  Tasks completed: {project.task_count}")

​
Данные качества на уровне задачи

# List tasks with their review status
tasks = client.tasks.list(project="project_uid")

for task in tasks:
    print(f"Task: {task.uid}")
    print(f"  Status: {task.status}")

​
Экспорт с метаданными качества

При создании экспорта каждый результат аннотации включает статус QA-рецензии, что позволяет фильтровать по уровню качества в вашем пайплайне обучения. 
export = client.exports.create(
    name="Training data - QA passed only",
    format="avala-json-external",
    projects=["project_uid"]
)

​
Настройка контроля качества

Для самостоятельной аннотации Avala предоставляет настраиваемые рабочие процессы QA.
ФункцияОписание
Многоэтапное рецензированиеМаршрутизация аннотаций через один или несколько этапов рецензирования перед принятием
Рабочие процессы консенсусаТребование согласия нескольких аннотаторов на одну и ту же метку
Критерии принятияУстановка минимальных порогов качества для принятия задачи
Отслеживание проблемОтметка и отслеживание проблем аннотации с комментариями и статусом решения
Согласие между аннотаторамиИзмерение согласованности между аннотаторами на одних и тех же данных
Инструкции по настройке см. в разделе Контроль качества.

​
Следующие шаги

Руководство по контролю качества

Настройте многоэтапное рецензирование, консенсус и рабочие процессы принятия для ваших проектов.

Прослеживаемость

Отследите любую аннотацию до исходных данных, аннотатора и QA-рецензии.

Почему Avala

Узнайте, чем Avala отличается от Scale AI, Labelbox и Label Studio.

Связаться с отделом продаж

Обсудите управляемую разметку, пользовательские SLA и корпоративное развёртывание.