Перейти к основному содержанию
Команды автономных транспортных средств генерируют самые большие и сложные наборы сенсорных данных в индустрии. Avala предоставляет единую платформу для визуализации необработанных мультисенсорных записей, аннотации обучающих данных восприятия и контроля качества — без переключения между отдельными инструментами визуализации и разметки.

​
Визуализация в первую очередь

Перед аннотацией командам AV необходимо исследовать и понять свои данные. Мультисенсорный просмотрщик Avala работает с полным стеком сенсоров AV:

Воспроизведение MCAP

Загружайте записи MCAP с вашего парка транспортных средств и воспроизводите все сенсорные потоки в синхронизированном многопанельном просмотрщике с 8 типами панелей.

Круговые камеры + LiDAR

Просматривайте все круговые камеры вместе с облаками точек LiDAR с автоматической калиброванной проекцией для перекрёстной верификации сенсоров.

GPU-ускоренное 3D

Рендеринг облаков точек LiDAR с ускорением WebGPU и 6 режимами визуализации: Нейтральный, Интенсивность, Радуга, Метка, Паноптический и Проекция изображения.

Навигация по таймлайну

Прокручивайте журналы поездок, перемещайтесь покадрово и переходите к конкретным временным меткам. Все панели синхронизированы при различных частотах сенсоров.
Это означает, что ваши инженеры могут использовать Avala для просмотра и отладки данных (заменяя Foxglove или Rerun), а ваша команда аннотации может размечать те же данные в том же интерфейсе.

​
Типы данных

СенсорТип данных AvalaТипичная аннотация
Фронтальные/круговые камерыImage, Video2D ограничивающие рамки, полилинии полос, маски сегментации
LiDARPoint Cloud3D-кубоиды с направлением, размерами и ID трекинга
РадарMCAP (через панели Point Cloud)3D-кубоиды, маркеры детекции
Мультисенсорное слияниеMCAPСинхронная аннотация камер + LiDAR с 3D-в-2D проекцией

​
Типичные задачи

​
3D-обнаружение объектов

Размечайте транспортные средства, пешеходов, велосипедистов и статические объекты 3D-кубоидами в облаках точек LiDAR. 3D-редактор аннотаций предоставляет виды сверху, в перспективе и сбоку для точного размещения кубоидов. Кубоиды включают полные параметры позиции (x, y, z), размеров (длина, ширина, высота) и направления (yaw).

​
Мультикамерная проекция

Аннотируйте 3D-кубоиды в виде LiDAR и автоматически проецируйте их на изображения круговых камер для визуальной верификации. Просмотрщик поддерживает модели камер pinhole и double-sphere, поэтому проекция работает со стандартными и широкоугольными объективами.
Мультикамерная проекция — один из самых эффективных способов проверки качества 3D-аннотации. Ошибки глубины и направления, которые трудно заметить в виде сверху, становятся очевидными при наложении кубоида на изображение камеры.

​
Аннотация полос и границ дороги

Используйте инструменты полилиний для разметки дорожной разметки, бордюров и краёв дороги в видах камер. Полилинии поддерживают соединённые сегменты с редактированием вершин, что делает их подходящими для криволинейных полос и сложных перекрёстков.

​
Временной трекинг объектов

Отслеживайте объекты между кадрами с постоянными ID для моделей прогнозирования движения и траекторий. ID объектов сохраняются по таймлайну последовательности, а покадровая навигация просмотрщика упрощает верификацию непрерывности трекинга.

​
Классификация сцены

Классифицируйте условия вождения на уровне сцены — погода (ясно, дождь, туман), время суток (день, сумерки, ночь), тип дороги (шоссе, город, сельская местность) и плотность трафика. Метки классификации применяются ко всему кадру и могут сочетаться с аннотациями на уровне объектов.

​
Используемые функции Avala

ФункцияНазначениеПодробнее
Интеграция MCAP / ROSПриём мультисенсорных записей с парка транспортных средствMCAP и ROS
Мультисенсорный просмотрщикСинхронное воспроизведение камер, LiDAR, радара и IMUМультисенсорный просмотрщик
GPU-ускоренные облака точекИнспекция данных LiDAR с 6 режимами визуализацииОбзор визуализации
3D-аннотация кубоидамиРазметка объектов в 3D с видами сверху, в перспективе и сбокуИнструмент 3D-кубоидов
Трекинг объектовПостоянные ID по последовательностям кадровВидео-аннотация
Аннотация полилиниямиРазметка полос, бордюров и границ дорогиИнструмент полилиний
Мультикамерная проекцияПроекция 3D-аннотаций на изображения камерНастройка мультикамерности
Пакетная автоматическая разметкаНачальная разметка предсказаниями моделиПакетная автоматическая разметка
Контроль качестваМногоэтапные рабочие процессы рецензированияКонтроль качества
Облачное хранилищеПодключение S3-бакетов для больших наборов данных вожденияОблачное хранилище

​
Пример пайплайна

Raw sensor data (MCAP recordings from vehicle fleet)
  -> Upload to Avala via cloud storage integration (S3)
  -> Explore recordings in multi-sensor viewer
  -> Verify calibration with LiDAR-to-camera projection
  -> Create annotation project with 3D cuboid + tracking task type
  -> Annotators label 3D cuboids with tracking IDs
  -> Auto-label next batch with model predictions (batch auto-labeling)
  -> QC review with multi-stage workflow
  -> Export in KITTI, COCO, or custom format
  -> Train perception model
  -> Use model predictions for next round of auto-labeling

​
Начало работы

1

Загрузите данные поездок

Создайте набор данных с типом mcap и загрузите записи MCAP с вашего парка. Для больших наборов данных используйте интеграцию с облачным хранилищем для прямого подключения вашего S3-бакета.
2

Исследуйте в просмотрщике

Откройте запись в мультисенсорном просмотрщике. Убедитесь, что данные камер, LiDAR и преобразований присутствуют. Проверьте калибровку, включив проекцию LiDAR на камеру.
3

Настройте проект аннотации

Создайте проект с 3D-аннотацией кубоидами, определите таксономию меток (vehicle, pedestrian, cyclist и т.д.) и настройте параметры контроля качества.
4

Аннотируйте и рецензируйте

Ваша команда аннотирует 3D-кубоиды с ID трекинга. Рецензенты проверяют аннотации с помощью мультикамерной проекции для выявления ошибок глубины и направления.
5

Экспортируйте и обучайте

Экспортируйте размеченные данные в предпочтительном формате. Используйте Python SDK или TypeScript SDK для интеграции экспортов в ваш пайплайн обучения.

​
Следующие шаги

MCAP и ROS

Подробное руководство по подготовке и загрузке мультисенсорных записей.

Инструмент 3D-кубоидов

Как размещать, настраивать и отслеживать 3D-кубоиды в редакторе облаков точек.

Лучшие практики записи

Советы по записи данных, которые хорошо визуализируются и аннотируются.

Контроль качества

Настройте многоэтапные рабочие процессы рецензирования для продакшн-аннотации.