Изображения
Визуализация: Изображения отображаются в просмотрщике с панорамированием, масштабированием и попиксельной инспекцией. В составе записи MCAP изображения показываются в специализированных панелях, синхронизированных с другими сенсорными потоками. Аннотация: Каждое изображение аннотируется независимо как отдельный кадр. Доступны все семь 2D-инструментов аннотации: ограничивающие рамки, полигоны, маски сегментации, полилинии, ключевые точки, классификация и трекинг объектов (в видеопоследовательностях). Поддерживаемые форматы: JPEG, PNG, WebP, BMP Сценарии использования: Обнаружение объектов, сегментация экземпляров, семантическая сегментация, классификация изображений, обнаружение ключевых точек, оценка позы.Видео
Визуализация: Видео автоматически конвертируются в последовательности кадров при загрузке, обеспечивая покадровое воспроизведение с прокруткой по таймлайну. Перемещайтесь вперёд и назад по кадрам, переходите к конкретным временным меткам или воспроизводите с настраиваемой скоростью. Аннотация: Аннотаторы работают покадрово с трекингом объектов по таймлайну. Идентификаторы объектов сохраняются между кадрами для единообразного присвоения. На каждом кадре доступны все 2D-инструменты аннотации. Поддерживаемые форматы: MP4, MOV Сценарии использования: Трекинг объектов, распознавание действий, обнаружение временных событий, разметка дорожных сцен, анализ поведения.Обработка видео происходит в фоновом режиме после загрузки. Большие видео могут занять несколько минут для конвертации. Вы можете отслеживать статус последовательности в Mission Control или через API.
LiDAR / Облако точек
Визуализация: Облака точек рендерятся в 3D-просмотрщике с видами сверху, в перспективе и сбоку. Шесть режимов визуализации позволяют окрашивать точки по различным свойствам:| Режим | Описание |
|---|---|
| Нейтральный | Единый цвет для структурного обзора |
| Интенсивность | Сила отражённого сигнала — выделяет отражающие поверхности |
| Радуга | Временная или последовательная окраска |
| Метка | Окраска по семантическому классу из аннотаций |
| Паноптический | Окраска по экземплярам для отдельных объектов |
| Проекция изображения | Изображения с камер, проецированные на облако точек |
MCAP
Визуализация: Записи MCAP отображаются в мультисенсорном просмотрщике с восемью типами панелей: Изображение, 3D / Облако точек, График, Сырые сообщения, Лог, Карта, Датчик и Переходы состояний. Avala автоматически определяет типы сообщений в записи и назначает топики соответствующим типам панелей. Все панели используют синхронизированный таймлайн для координированного воспроизведения камер, LiDAR, радара, IMU и других сенсорных потоков. Компоновщик макетов автоматически строит оптимальное расположение панелей на основе топиков в вашей записи, или вы можете настроить макет вручную. Перемещайтесь покадрово, переходите к любой временной метке или воспроизводите полную запись с настраиваемой скоростью. Аннотация: Avala разбирает файлы MCAP для извлечения и синхронизации сенсорных потоков. Изображения с камер отображаются рядом с проецированными данными LiDAR, обеспечивая мультикамерную аннотацию с 3D-контекстом. Аннотаторы размещают 3D-кубоиды, которые единообразно проецируются на все виды камер. Поддерживаемые форматы: MCAP (с поддержкой сообщений ROS) Сценарии использования: Мультисенсорное слияние, круговое восприятие, разметка данных автономных транспортных средств, калибровка сенсоров робототехники, просмотр данных парка.Поддержка MCAP включает автоматическое извлечение внутренних и внешних параметров камер для точной проекции LiDAR на камеру. Поддерживаются модели камер pinhole и double-sphere (рыбий глаз). Подробности см. в руководстве по интеграции MCAP / ROS.
Splat
Визуализация: Сцены Gaussian Splat рендерятся в WebGPU-ускоренном 3D-просмотрщике. Свободно перемещайтесь по фотореалистичным 3D-реконструкциям сцен с плавным управлением камерой. Рендерер использует GPU-сортировку, пул буферов и прекомпиляцию пайплайнов для работы в реальном времени. Аннотация: Аннотаторы перемещаются по реконструированному окружению и размещают 3D-аннотации прямо в сцене. Метки классификации могут быть применены ко всей сцене или отдельным регионам. Поддерживаемые форматы: Gaussian Splat Сценарии использования: 3D-понимание сцен, аннотация синтеза новых видов, обучающие данные для пространственного AI, картирование окружения.Сравнение возможностей
Следующая таблица показывает возможности визуализации и аннотации для каждого типа данных:| Возможность | Изображение | Видео | Облако точек | MCAP | Splat |
|---|---|---|---|---|---|
| Визуализация | |||||
| 2D-просмотрщик изображений | Да | Да | — | Да | — |
| 3D-просмотрщик облаков точек | — | — | Да | Да | — |
| 3D-просмотрщик Splat | — | — | — | — | Да |
| Многопанельный макет | — | — | — | Да | — |
| Воспроизведение по таймлайну | — | Да | Да | Да | — |
| Режимы визуализации (6) | — | — | Да | Да | — |
| Аннотация | |||||
| Ограничивающая рамка | Да | Да | — | — | — |
| Полигон | Да | Да | — | — | — |
| 3D-кубоид | — | — | Да | Да | Да |
| Сегментация | Да | Да | — | — | — |
| Полилиния | Да | Да | — | — | — |
| Ключевые точки | Да | Да | — | — | — |
| Классификация | Да | Да | Да | Да | Да |
| Трекинг объектов | — | Да | Да | Да | — |
Требования к загрузке
| Параметр | Ограничение |
|---|---|
| Макс. размер файла (изображения) | 20 МБ на файл |
| Макс. размер файла (видео) | 2 ГБ на файл |
| Макс. размер файла (облако точек) | 500 МБ на файл |
| Макс. размер файла (MCAP) | 5 ГБ на файл |
| Поддерживаемые форматы изображений | JPEG, PNG, WebP, BMP |
| Поддерживаемые форматы видео | MP4, MOV |
| Поддерживаемые форматы облаков точек | PCD, PLY |
| Поддерживаемые мультисенсорные форматы | MCAP |
Следующие шаги
Управление наборами данных
Загружайте, организуйте и управляйте данными в Mission Control.
Интеграция MCAP / ROS
Настройте мультисенсорные пайплайны данных с MCAP и ROS.
Основные концепции
Разберитесь в просмотрщиках, панелях, макетах и других концепциях платформы.
Архитектура
Узнайте, как движок визуализации и бэкенд-сервисы работают вместе.