Визуализация данных робототехники
Сенсорные данные робототехники часто поступают в виде записанных бэгов или файлов MCAP из тестовых прогонов, полевых развёртываний или симуляций. Мультисенсорный просмотрщик Avala позволяет воспроизводить эти записи и инспектировать их перед началом аннотации.Воспроизведение MCAP
Загружайте записи MCAP с вашего робота и воспроизводите потоки камер, глубины, LiDAR и IMU в синхронизированном просмотрщике.
Визуализация облаков точек
Рендеринг облаков точек с камер глубины и LiDAR с GPU-ускорением. Переключайтесь между 6 режимами визуализации для инспекции плотности, интенсивности и пространственной структуры.
Мультикамерные виды
Просматривайте несколько потоков камер (RGB, глубина, стерео) бок о бок, синхронизированных по одним и тем же временным меткам в записи.
Навигация по таймлайну
Перемещайтесь покадрово по операциям робота для поиска ключевых моментов — попытки захвата, решения навигации, события столкновений.
Типы данных
| Применение | Тип данных Avala | Типичная аннотация |
|---|---|---|
| Навигация в помещениях | Image, Point Cloud | 2D/3D ограничивающие рамки, сегментация |
| Захват и перемещение | Image | Ограничивающие рамки, ключевые точки, маски сегментации |
| Мобильные роботы на открытом воздухе | MCAP, Point Cloud | 3D-кубоиды, полилинии |
| Манипуляция | Image, Video | Ключевые точки, ограничивающие рамки |
| Складские роботы | Image, MCAP | Ограничивающие рамки, сегментация, классификация |
Типичные задачи
Обнаружение объектов и захват
Размечайте объекты на полках, столах и конвейерах ограничивающими рамками и масками сегментации экземпляров для моделей планирования захвата. Для задач подбора из контейнера комбинируйте ограничивающие рамки с аннотациями ключевых точек для обозначения точек захвата на каждом объекте.Сегментация сцены
Создавайте попиксельные маски сегментации для полов, стен, препятствий, свободного пространства и других типов поверхностей. Данные сегментации обучают навигационные модели понимать, какие области робот может пересечь, а какие заблокированы.Аннотация ключевых точек
Отмечайте положения суставов, наконечники инструментов, точки захвата и ориентиры позы. Скелеты ключевых точек настраиваются — определите количество точек и их связи в соответствии с ожидаемым входом вашей модели.Классификация местности
Для мобильных роботов на открытом воздухе классифицируйте проходимые и непроходимые поверхности. Комбинируйте классификацию на уровне изображения (тип местности, уклон) с масками сегментации, разграничивающими безопасные зоны и препятствия.Обнаружение действий и событий
Аннотируйте видеозаписи операций робота для разметки конкретных событий: успешный захват, неудачный захват, столкновение, восстановление. Используйте метки классификации на последовательностях или диапазонах кадров для временной аннотации событий.Используемые функции Avala
| Функция | Назначение | Подробнее |
|---|---|---|
| Интеграция MCAP / ROS | Приём записей сенсоров робота | MCAP и ROS |
| Мультисенсорный просмотрщик | Синхронное воспроизведение сенсорных потоков робота | Мультисенсорный просмотрщик |
| Визуализация облаков точек | Инспекция данных камер глубины и LiDAR с 6 режимами рендеринга | Обзор визуализации |
| Аннотация ограничивающими рамками | Разметка объектов для моделей обнаружения | Инструмент ограничивающих рамок |
| Аннотация ключевых точек | Разметка положений суставов и точек захвата | Инструмент ключевых точек |
| Аннотация сегментацией | Попиксельные маски для понимания сцены | Инструмент сегментации |
| Аннотация полигонами | Точные границы для объектов неправильной формы | Инструмент полигонов |
| Контроль качества | Многоэтапное рецензирование для меток с высокими требованиями к точности | Контроль качества |
| Срезы | Организация данных по окружению, сценарию или платформе робота | API срезов |
Пример пайплайна
Начало работы
Загрузите записи робота
Создайте набор данных и загрузите файлы MCAP. Просмотрщик автоматически определяет топики камер, глубины, LiDAR и IMU.
Исследуйте данные
Воспроизведите записи для понимания охвата сенсоров и качества данных. Используйте покадровую навигацию для поиска ключевых моментов.
Определите задачу аннотации
Выберите тип аннотации, соответствующий входным данным вашей модели: ограничивающие рамки для обнаружения, ключевые точки для оценки позы, сегментация для понимания сцены.
Настройте таксономию меток
Определите классы объектов и атрибуты, релевантные рабочей среде вашего робота (например,
cup, plate, obstacle, free_space).Управление парком
Для команд, эксплуатирующих парки роботов, Avala предоставляет управление записями и наблюдаемость на уровне парка:- Реестр устройств — Отслеживайте всех роботов в парке с метаданными, версиями прошивки и статусом здоровья.
- Обозреватель записей — Фильтруйте и сортируйте записи по устройствам, дате, статусу и тегам.
- События на таймлайне — Отмечайте ошибки, аномалии и изменения состояний на записях для анализа всего парка.
- Правила записи — Автоматическая отметка записей по условиям (например, высокая задержка, частота ошибок).
- Оповещения — Направляйте уведомления в Slack, email или вебхуки при изменении условий парка.
Следующие шаги
Панель управления парком
Управляйте устройствами, записями и телеметрией парка роботов.
MCAP и ROS
Поддерживаемые форматы и подготовка записей робота к загрузке.
Инструменты аннотации
Обзор всех инструментов аннотации для данных робототехники.
Лучшие практики записи
Советы по записи данных робота для эффективной работы в Avala.