Изображения
Визуализация: Изображения отображаются в просмотрщике с панорамированием, масштабированием и попиксельной инспекцией. В составе записи MCAP изображения показываются в специализированных панелях, синхронизированных с другими сенсорными потоками. Аннотация: Каждое изображение аннотируется независимо как отдельный кадр. Доступны все семь 2D-инструментов аннотации: ограничивающие рамки, полигоны, маски сегментации, полилинии, ключевые точки, классификация и трекинг объектов (в видеопоследовательностях). Поддерживаемые форматы: JPEG, PNG, WebP, BMP Сценарии использования: Обнаружение объектов, сегментация экземпляров, семантическая сегментация, классификация изображений, обнаружение ключевых точек, оценка позы.Видео
Визуализация: Видео автоматически конвертируются в последовательности кадров при загрузке, обеспечивая покадровое воспроизведение с прокруткой по таймлайну. Перемещайтесь вперёд и назад по кадрам, переходите к конкретным временным меткам или воспроизводите с настраиваемой скоростью. Аннотация: Аннотаторы работают покадрово с трекингом объектов по таймлайну. Идентификаторы объектов сохраняются между кадрами для единообразного присвоения. На каждом кадре доступны все 2D-инструменты аннотации. Поддерживаемые форматы: MP4, MOV Сценарии использования: Трекинг объектов, распознавание действий, обнаружение временных событий, разметка дорожных сцен, анализ поведения.Обработка видео происходит в фоновом режиме после загрузки. Большие видео могут занять несколько минут для конвертации. Вы можете отслеживать статус последовательности в Mission Control или через API.
LiDAR / Облако точек
Визуализация: Облака точек рендерятся в 3D-просмотрщике с видами сверху, в перспективе и сбоку. Шесть режимов визуализации позволяют окрашивать точки по различным свойствам:
Просмотрщик использует вычислительные шейдеры WebGPU для отсечения по пирамиде видимости и рендеринга с уровнем детализации, поддерживая высокую частоту кадров даже на плотных сканах.
Аннотация: Аннотаторы размещают 3D-кубоиды с полным контролем позиции, размеров и вращения. Проекции кубоидов отображаются в синхронизированных видах камер при наличии данных калибровки.
Поддерживаемые форматы: PCD, PLY
Сценарии использования: 3D-обнаружение объектов, восприятие для автономного вождения, навигация роботов, реконструкция сцен, создание HD-карт.
MCAP
Визуализация: Записи MCAP отображаются в мультисенсорном просмотрщике с восемью типами панелей: Изображение, 3D / Облако точек, График, Сырые сообщения, Лог, Карта, Датчик и Переходы состояний. Avala автоматически определяет типы сообщений в записи и назначает топики соответствующим типам панелей. Все панели используют синхронизированный таймлайн для координированного воспроизведения камер, LiDAR, радара, IMU и других сенсорных потоков. Компоновщик макетов автоматически строит оптимальное расположение панелей на основе топиков в вашей записи, или вы можете настроить макет вручную. Перемещайтесь покадрово, переходите к любой временной метке или воспроизводите полную запись с настраиваемой скоростью. Аннотация: Avala разбирает файлы MCAP для извлечения и синхронизации сенсорных потоков. Изображения с камер отображаются рядом с проецированными данными LiDAR, обеспечивая мультикамерную аннотацию с 3D-контекстом. Аннотаторы размещают 3D-кубоиды, которые единообразно проецируются на все виды камер. Поддерживаемые форматы: MCAP (с поддержкой сообщений ROS) Сценарии использования: Мультисенсорное слияние, круговое восприятие, разметка данных автономных транспортных средств, калибровка сенсоров робототехники, просмотр данных парка.Поддержка MCAP включает автоматическое извлечение внутренних и внешних параметров камер для точной проекции LiDAR на камеру. Поддерживаются модели камер pinhole и double-sphere (рыбий глаз). Подробности см. в руководстве по интеграции MCAP / ROS.
Splat
Визуализация: Сцены Gaussian Splat рендерятся в WebGPU-ускоренном 3D-просмотрщике. Свободно перемещайтесь по фотореалистичным 3D-реконструкциям сцен с плавным управлением камерой. Рендерер использует GPU-сортировку, пул буферов и прекомпиляцию пайплайнов для работы в реальном времени. Аннотация: Аннотаторы перемещаются по реконструированному окружению и размещают 3D-аннотации прямо в сцене. Метки классификации могут быть применены ко всей сцене или отдельным регионам. Поддерживаемые форматы: Gaussian Splat Сценарии использования: 3D-понимание сцен, аннотация синтеза новых видов, обучающие данные для пространственного AI, картирование окружения.Сравнение возможностей
Следующая таблица показывает возможности визуализации и аннотации для каждого типа данных:Требования к загрузке
Следующие шаги
Управление наборами данных
Загружайте, организуйте и управляйте данными в Mission Control.
Интеграция MCAP / ROS
Настройте мультисенсорные пайплайны данных с MCAP и ROS.
Основные концепции
Разберитесь в просмотрщиках, панелях, макетах и других концепциях платформы.
Архитектура
Узнайте, как движок визуализации и бэкенд-сервисы работают вместе.