Обзор системы
Mission Control
Веб-интерфейс на avala.ai — Визуализация, Аннотация, Управление проектами, Контроль качества, Управление наборами данных
Движок визуализации
GPU-ускоренный рендеринг — Мультисенсорный просмотрщик, 3D-просмотрщик облаков точек, Просмотрщик Gaussian Splat, Пайплайн рендеринга WebGPU/WebGL
REST API
api.avala.ai/api/v1 — Наборы данных, Проекты, Задачи, Экспорты, Организации. Доступ через HTTP/cURL, Python SDK, TypeScript SDK или CLI.Бэкенд-сервисы
Асинхронная обработка — Разбор MCAP, Конвертация видео, Генерация экспортов, Обработка задач, Пайплайн инференса
Компоненты
Mission Control
Mission Control — это веб-приложение Avala на avala.ai. Оно предоставляет:- Визуализация данных — GPU-ускоренные просмотрщики для исследования сенсорных данных до, во время и после аннотации. Мультисенсорное воспроизведение, рендеринг 3D-облаков точек и навигация по сценам Gaussian Splat — всё в браузере.
- Редактор аннотаций — Специализированные инструменты для разметки изображений, видео, облаков точек и мультисенсорных данных с поддержкой ограничивающих рамок, полигонов, кубоидов, сегментации, полилиний и ключевых точек.
- Управление проектами — Создание и настройка проектов аннотации, определение таксономий меток, назначение работы участникам команды и мониторинг прогресса.
- Контроль качества — Рецензирование отправленных аннотаций, отметка проблем, отслеживание коэффициентов принятия и запуск рабочих процессов консенсуса.
- Управление наборами данных — Загрузка данных, организация элементов в последовательности, просмотр и поиск наборов данных, управление правами доступа.
Движок визуализации
Движок визуализации работает в браузере и обеспечивает GPU-ускоренный рендеринг сенсорных данных:- Мультисенсорный просмотрщик — Синхронное воспроизведение записей MCAP и ROS с восемью типами панелей: Изображение, 3D / Облако точек, График, Сырые сообщения, Лог, Карта, Датчик и Переходы состояний. Автоматическое определение топиков и интеллектуальная компоновка макетов на основе ваших данных.
- 3D-просмотрщик облаков точек — Рендеринг данных LiDAR с шестью режимами визуализации (Нейтральный, Интенсивность, Радуга, Метка, Паноптический, Проекция изображения). Виды сверху, в перспективе и сбоку. Вычислительные шейдеры WebGPU обеспечивают отсечение по пирамиде видимости и рендеринг с уровнем детализации для высокой частоты кадров на плотных сканах.
- Просмотрщик Gaussian Splat — WebGPU-ускоренный рендеринг 3D-реконструкций сцен Gaussian Splat. GPU-сортировка, пул буферов и прекомпиляция пайплайнов обеспечивают навигацию в реальном времени по фотореалистичным окружениям.
- Пайплайн рендеринга — WebGPU предпочтителен с автоматическим фоллбэком на WebGL для более широкой поддержки браузеров. Флаги функций контролируют вычислительные шейдеры, бандлы рендеринга и компиляцию шейдеров WGSL.
- Многооконный макет — Настраиваемое расположение панелей с drag-and-drop. Древовидная система макетов с автоматической балансировкой позволяет настраивать организацию панелей или доверить компоновщику макетов построение оптимального расположения на основе ваших данных.
REST API
REST API по адресуapi.avala.ai/api/v1 предоставляет программный доступ ко всем возможностям платформы. Все запросы аутентифицируются с помощью API-ключа, передаваемого в заголовке X-Avala-Api-Key.
Основные ресурсы:
| Ресурс | Описание |
|---|---|
| Datasets | Создание, список и управление наборами данных и их элементами |
| Projects | Настройка рабочих процессов аннотации, таксономий меток и параметров задач |
| Tasks | Назначение, отслеживание и управление отдельными единицами работы по аннотации |
| Exports | Генерация и загрузка аннотированных данных в различных форматах |
| Organizations | Управление командами, участниками, ролями и разрешениями |
SDK
Вы можете вызывать REST API напрямую из любого языка с помощью стандартных HTTP-клиентов (см. REST API) или использовать официальные SDK:- Python SDK (
pip install avala) — Синхронный и асинхронный клиенты, модели Pydantic, автоматическая пагинация, типизированные исключения, CLI-инструмент. - TypeScript SDK (
npm install @avala-ai/sdk) — Полностью типизированный клиент с Promise-based API для Node.js и edge-рантаймов. - CLI (
curl -fsSL https://avala.ai/install.sh | bash) — Управление наборами данных, проектами, экспортами и хранилищем из терминала.
Бэкенд-сервисы
Бэкенд-сервисы обеспечивают асинхронную обработку, которая питает платформу:- Разбор MCAP — Извлечение и синхронизация сенсорных потоков из записей MCAP, определение типов сообщений и построение индексов кадров для мультисенсорного просмотрщика.
- Конвертация видео — Разделение загруженных видеофайлов на последовательности кадров для визуализации и аннотации.
- Генерация экспортов — Создание загружаемых экспортов в форматах JSON, COCO, KITTI и других.
- Обработка задач — Генерация и распределение задач аннотации на основе конфигурации проекта.
- Пайплайн инференса — Запуск инференса моделей для AI-ассистированной аннотации и предварительной разметки.
Хранилище
Хранилище управляет всеми постоянными данными:- Файлы наборов данных — Необработанные изображения, видеокадры, облака точек и записи MCAP.
- Аннотации — Размеченные данные, созданные аннотаторами (ограничивающие рамки, полигоны, кубоиды, маски).
- Экспорты — Сгенерированные файлы экспортов, доступные для загрузки.
- Артефакты моделей — Веса и конфигурации моделей инференса, используемых в AI-ассистированной разметке.
MCP-сервер
MCP-сервер (Model Context Protocol) предоставляет инструменты Avala AI-ассистентам, таким как Claude, Cursor и VS Code Copilot. Он позволяет взаимодействовать с наборами данных, проектами и экспортами на естественном языке, не покидая среду разработки.Пакет
@avala-ai/mcp-server доступен в npm. Установите с помощью npm install -g @avala-ai/mcp-server или используйте npx. Инструкции по установке см. в руководстве по настройке MCP.Как компоненты взаимодействуют
- Пользователи работают с Avala через Mission Control (веб-интерфейс) или программно через REST API и SDK.
- Mission Control загружает данные через REST API и рендерит их с помощью движка визуализации прямо в браузере — серверный рендеринг не требуется.
- Все клиентские интерфейсы общаются с одним и тем же REST API, поэтому действия в Mission Control немедленно видны через API и наоборот.
- REST API валидирует запросы, управляет ресурсами и передаёт работу бэкенд-сервисам для асинхронной обработки.
- Бэкенд-сервисы обрабатывают задачи (разбор MCAP, конвертация видео, генерация экспортов) и записывают результаты обратно в хранилище.
Следующие шаги
Справочник API
Базовый URL, аутентификация, эндпоинты и формат ответа.
Avala с AI
Подключите Avala к Claude, Cursor и VS Code через MCP.
Типы данных
Возможности визуализации и инструменты аннотации для каждого типа данных.
Основные концепции
Просмотрщики, панели, макеты, таймлайны и другие концепции платформы.