Визуализация данных робототехники
Сенсорные данные робототехники часто поступают в виде записанных бэгов или файлов MCAP из тестовых прогонов, полевых развёртываний или симуляций. Мультисенсорный просмотрщик Avala позволяет воспроизводить эти записи и инспектировать их перед началом аннотации.Воспроизведение MCAP
Загружайте записи MCAP с вашего робота и воспроизводите потоки камер, глубины, LiDAR и IMU в синхронизированном просмотрщике.
Визуализация облаков точек
Рендеринг облаков точек с камер глубины и LiDAR с GPU-ускорением. Переключайтесь между 6 режимами визуализации для инспекции плотности, интенсивности и пространственной структуры.
Мультикамерные виды
Просматривайте несколько потоков камер (RGB, глубина, стерео) бок о бок, синхронизированных по одним и тем же временным меткам в записи.
Навигация по таймлайну
Перемещайтесь покадрово по операциям робота для поиска ключевых моментов — попытки захвата, решения навигации, события столкновений.
Типы данных
Типичные задачи
Обнаружение объектов и захват
Размечайте объекты на полках, столах и конвейерах ограничивающими рамками и масками сегментации экземпляров для моделей планирования захвата. Для задач подбора из контейнера комбинируйте ограничивающие рамки с аннотациями ключевых точек для обозначения точек захвата на каждом объекте.Сегментация сцены
Создавайте попиксельные маски сегментации для полов, стен, препятствий, свободного пространства и других типов поверхностей. Данные сегментации обучают навигационные модели понимать, какие области робот может пересечь, а какие заблокированы.Аннотация ключевых точек
Отмечайте положения суставов, наконечники инструментов, точки захвата и ориентиры позы. Скелеты ключевых точек настраиваются — определите количество точек и их связи в соответствии с ожидаемым входом вашей модели.Классификация местности
Для мобильных роботов на открытом воздухе классифицируйте проходимые и непроходимые поверхности. Комбинируйте классификацию на уровне изображения (тип местности, уклон) с масками сегментации, разграничивающими безопасные зоны и препятствия.Обнаружение действий и событий
Аннотируйте видеозаписи операций робота для разметки конкретных событий: успешный захват, неудачный захват, столкновение, восстановление. Используйте метки классификации на последовательностях или диапазонах кадров для временной аннотации событий.Используемые функции Avala
Пример пайплайна
Начало работы
1
Загрузите записи робота
Создайте набор данных и загрузите файлы MCAP. Просмотрщик автоматически определяет топики камер, глубины, LiDAR и IMU.
2
Исследуйте данные
Воспроизведите записи для понимания охвата сенсоров и качества данных. Используйте покадровую навигацию для поиска ключевых моментов.
3
Определите задачу аннотации
Выберите тип аннотации, соответствующий входным данным вашей модели: ограничивающие рамки для обнаружения, ключевые точки для оценки позы, сегментация для понимания сцены.
4
Настройте таксономию меток
Определите классы объектов и атрибуты, релевантные рабочей среде вашего робота (например,
cup, plate, obstacle, free_space).5
Аннотируйте, рецензируйте и экспортируйте
Ваша команда размечает данные, рецензенты проверяют качество, и вы экспортируете в формате, который ожидает ваш пайплайн обучения.
Управление парком
Для команд, эксплуатирующих парки роботов, Avala предоставляет управление записями и наблюдаемость на уровне парка:- Реестр устройств — Отслеживайте всех роботов в парке с метаданными, версиями прошивки и статусом здоровья.
- Обозреватель записей — Фильтруйте и сортируйте записи по устройствам, дате, статусу и тегам.
- События на таймлайне — Отмечайте ошибки, аномалии и изменения состояний на записях для анализа всего парка.
- Правила записи — Автоматическая отметка записей по условиям (например, высокая задержка, частота ошибок).
- Оповещения — Направляйте уведомления в Slack, email или вебхуки при изменении условий парка.
Следующие шаги
Панель управления парком
Управляйте устройствами, записями и телеметрией парка роботов.
MCAP и ROS
Поддерживаемые форматы и подготовка записей робота к загрузке.
Инструменты аннотации
Обзор всех инструментов аннотации для данных робототехники.
Лучшие практики записи
Советы по записи данных робота для эффективной работы в Avala.