Почему Avala для Physical AI
Традиционные платформы аннотации созданы для 2D-изображений. Командам Physical AI нужно работать с 3D-сценами, облаками точек, мультисенсорными записями и пространственными реконструкциями. Avala обрабатывает всё это нативно.Просмотрщик Gaussian Splat
Загружайте 3D-реконструкции сцен Gaussian Splat в WebGPU-просмотрщик с иерархией сцены, инспектором свойств и статистикой в реальном времени. Навигируйте и аннотируйте прямо в реконструированном 3D-окружении.
Визуализация облаков точек
GPU-ускоренный рендеринг облаков точек с 6 режимами визуализации. Инспектируйте пространственную структуру, плотность и охват сенсоров в режимах Нейтральный, Интенсивность, Радуга, Метка, Паноптический и Проекция изображения.
Мультисенсорное воспроизведение MCAP
Воспроизводите записанные сенсорные данные систем воплощённого AI — камеры, датчики глубины, LiDAR, IMU — в синхронизированном многопанельном просмотрщике.
3D-инструменты аннотации
Аннотируйте 3D-кубоиды, метки классификации и атрибуты объектов прямо на облаках точек и сценах Gaussian Splat без смены инструментов.
Типы данных
| Применение | Тип данных Avala | Типичная аннотация |
|---|---|---|
| Реконструкция сцены | Splat (Gaussian Splat) | 3D-кубоиды, классификация |
| Пространственное картирование | Point Cloud | 3D-кубоиды, сегментация |
| Записи воплощённых агентов | MCAP | Мультисенсорная аннотация с трекингом |
| Обучение навигации | Point Cloud, MCAP | 3D-кубоиды, полилинии |
| Распознавание объектов | Image, Point Cloud | Ограничивающие рамки, 3D-кубоиды |
| Генерация цифровых двойников | Splat, Point Cloud | Классификация, атрибуты объектов |
Сценарии использования
Понимание сцены для воплощённого AI
Воплощённым AI-агентам нужно понимать 3D-структуру своего окружения: где находятся объекты, какие поверхности проходимы и как организовано пространство. Просмотрщики облаков точек и Gaussian Splat в Avala позволяют визуализировать захваченные окружения, а затем аннотировать объекты, регионы и пространственные отношения для обучения моделей понимания сцен. Рабочий процесс: Захват окружения с помощью LiDAR или камер глубины -> загрузка облака точек или реконструкции Gaussian Splat -> визуализация и инспекция в 3D-просмотрщике -> аннотация объектов 3D-кубоидами и метками классификации -> экспорт для обучения модели.3D-распознавание объектов
Обучайте модели распознавать объекты в 3D-пространстве с помощью аннотированных облаков точек и реконструкций сцен. Инструмент 3D-кубоидов позволяет аннотаторам размещать точные ограничивающие объёмы вокруг объектов с полным контролем позиции, размеров и направления. Атрибуты классификации добавляют метаданные категории, материала и состояния к каждому объекту.Перенос из симуляции в реальность
Команды, строящие среды симуляции, нуждаются в размеченных реальных данных для валидации и калибровки симуляций. Avala обеспечивает реальную сторону пайплайна:Захватите реальные данные
Запишите мультисенсорные данные из целевого окружения с помощью робота или сенсорной установки. Используйте формат MCAP для мультисенсорных записей или PCD/PLY для отдельных облаков точек.
Реконструируйте и визуализируйте
Загрузите реконструкции Gaussian Splat или необработанные облака точек. Исследуйте данные в 3D-просмотрщиках Avala для понимания структуры сцены.
Аннотируйте эталонные данные
Разметьте объекты, регионы и пространственные отношения, которые ваша симуляция должна точно воспроизвести.
Аннотация данных цифровых двойников
Приложениям цифровых двойников нужны аннотированные данные, связывающие физический мир с его виртуальным представлением. Просмотрщик Gaussian Splat в Avala особенно полезен здесь — он рендерит фотореалистичные 3D-реконструкции сцен, по которым аннотаторы могут навигировать и размечать, как если бы они были в реальном окружении. Просмотрщик предоставляет:- Панель иерархии сцены — Просмотр и выбор объектов в дереве сцены
- Инспектор свойств — Просмотр и редактирование атрибутов объектов
- Статистика в реальном времени — Мониторинг производительности рендеринга
- Отмена/повтор — Полная история редактирования для исправления аннотаций
Навигация и планирование путей
Для роботов и автономных систем, которым нужно навигировать в физических пространствах, аннотируйте проходимые регионы, препятствия и путевые точки в данных облаков точек. Используйте полилинии для определения путей и границ, а 3D-кубоиды — для отметки препятствий с размерами и ориентацией.Используемые функции Avala
| Функция | Назначение | Подробнее |
|---|---|---|
| Просмотрщик Gaussian Splat | Визуализация и аннотация 3D-реконструкций сцен | Обзор визуализации |
| Визуализация облаков точек | Инспекция пространственных данных с 6 режимами рендеринга | Обзор визуализации |
| Интеграция MCAP / ROS | Приём мультисенсорных записей систем воплощённого AI | MCAP и ROS |
| 3D-аннотация кубоидами | Разметка объектов в 3D с точной позицией и размерами | Инструмент 3D-кубоидов |
| Классификация | Категориальные метки на уровне сцены и объекта | Инструмент классификации |
| Python SDK | Программное управление наборами данных и экспорт | Python SDK |
| TypeScript SDK | Интеграция с пайплайнами Node.js | TypeScript SDK |
| Облачное хранилище | Подключение S3 или GCS для больших 3D-наборов данных | Облачное хранилище |
Пример пайплайна
Начало работы
Выберите формат данных
Используйте формат Gaussian Splat для реконструкций сцен, PCD/PLY для необработанных облаков точек или MCAP для мультисенсорных записей воплощённых систем.
Загрузите и визуализируйте
Создайте набор данных с соответствующим типом данных и загрузите файлы. Откройте их в 3D-просмотрщике для исследования пространственных данных.
Определите схему аннотации
Настройте классы объектов и атрибуты в соответствии с требованиями вашей модели — категории объектов, материалы, состояния, пространственные отношения.
Аннотируйте в 3D
Ваша команда размещает 3D-кубоиды и метки классификации прямо в облаке точек или сцене Gaussian Splat.
Следующие шаги
Обзор визуализации
Полный обзор возможностей визуализации Avala, включая просмотрщики Gaussian Splat и облаков точек.
Инструмент 3D-кубоидов
Как аннотировать объекты в 3D с точным контролем позиции, размеров и направления.
Типы данных
Поддерживаемые форматы и требования к загрузке для Splat, Point Cloud, MCAP и других типов данных.
Python SDK
Программный доступ для управления наборами данных, создания проектов и экспорта аннотаций.