> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Physical AI и пространственные вычисления

> Создание обучающих наборов данных для воплощённого AI, цифровых двойников и приложений пространственных вычислений

Системы Physical AI — воплощённые агенты, цифровые двойники, приложения пространственных вычислений и пайплайны переноса из симуляции в реальность — требуют обучающих данных, которые захватывают 3D-структуру реальных окружений. Avala предоставляет инструменты визуализации и аннотации, которые нужны этим командам: рендеринг сцен Gaussian Splat, GPU-ускоренная визуализация облаков точек, мультисенсорное воспроизведение MCAP и 3D-инструменты аннотации, работающие прямо с пространственными данными.

## Почему Avala для Physical AI

Традиционные платформы аннотации созданы для 2D-изображений. Командам Physical AI нужно работать с 3D-сценами, облаками точек, мультисенсорными записями и пространственными реконструкциями. Avala обрабатывает всё это нативно.

<CardGroup cols={2}>
  <Card title="Просмотрщик Gaussian Splat" icon="circle-nodes">
    Загружайте 3D-реконструкции сцен Gaussian Splat в WebGPU-просмотрщик с иерархией сцены, инспектором свойств и статистикой в реальном времени. Навигируйте и аннотируйте прямо в реконструированном 3D-окружении.
  </Card>

  <Card title="Визуализация облаков точек" icon="cube">
    GPU-ускоренный рендеринг облаков точек с 6 режимами визуализации. Инспектируйте пространственную структуру, плотность и охват сенсоров в режимах Нейтральный, Интенсивность, Радуга, Метка, Паноптический и Проекция изображения.
  </Card>

  <Card title="Мультисенсорное воспроизведение MCAP" icon="play">
    Воспроизводите записанные сенсорные данные систем воплощённого AI — камеры, датчики глубины, LiDAR, IMU — в синхронизированном многопанельном просмотрщике.
  </Card>

  <Card title="3D-инструменты аннотации" icon="pen-to-square">
    Аннотируйте 3D-кубоиды, метки классификации и атрибуты объектов прямо на облаках точек и сценах Gaussian Splat без смены инструментов.
  </Card>
</CardGroup>

## Типы данных

| Применение                    | Тип данных Avala       | Типичная аннотация                    |
| ----------------------------- | ---------------------- | ------------------------------------- |
| Реконструкция сцены           | Splat (Gaussian Splat) | 3D-кубоиды, классификация             |
| Пространственное картирование | Point Cloud            | 3D-кубоиды, сегментация               |
| Записи воплощённых агентов    | MCAP                   | Мультисенсорная аннотация с трекингом |
| Обучение навигации            | Point Cloud, MCAP      | 3D-кубоиды, полилинии                 |
| Распознавание объектов        | Image, Point Cloud     | Ограничивающие рамки, 3D-кубоиды      |
| Генерация цифровых двойников  | Splat, Point Cloud     | Классификация, атрибуты объектов      |

## Сценарии использования

### Понимание сцены для воплощённого AI

Воплощённым AI-агентам нужно понимать 3D-структуру своего окружения: где находятся объекты, какие поверхности проходимы и как организовано пространство. Просмотрщики облаков точек и Gaussian Splat в Avala позволяют визуализировать захваченные окружения, а затем аннотировать объекты, регионы и пространственные отношения для обучения моделей понимания сцен.

**Рабочий процесс:** Захват окружения с помощью LiDAR или камер глубины -> загрузка облака точек или реконструкции Gaussian Splat -> визуализация и инспекция в 3D-просмотрщике -> аннотация объектов 3D-кубоидами и метками классификации -> экспорт для обучения модели.

### 3D-распознавание объектов

Обучайте модели распознавать объекты в 3D-пространстве с помощью аннотированных облаков точек и реконструкций сцен. Инструмент 3D-кубоидов позволяет аннотаторам размещать точные ограничивающие объёмы вокруг объектов с полным контролем позиции, размеров и направления. Атрибуты классификации добавляют метаданные категории, материала и состояния к каждому объекту.

### Перенос из симуляции в реальность

Команды, строящие среды симуляции, нуждаются в размеченных реальных данных для валидации и калибровки симуляций. Avala обеспечивает реальную сторону пайплайна:

<Steps>
  <Step title="Захватите реальные данные">
    Запишите мультисенсорные данные из целевого окружения с помощью робота или сенсорной установки. Используйте формат MCAP для мультисенсорных записей или PCD/PLY для отдельных облаков точек.
  </Step>

  <Step title="Реконструируйте и визуализируйте">
    Загрузите реконструкции Gaussian Splat или необработанные облака точек. Исследуйте данные в 3D-просмотрщиках Avala для понимания структуры сцены.
  </Step>

  <Step title="Аннотируйте эталонные данные">
    Разметьте объекты, регионы и пространственные отношения, которые ваша симуляция должна точно воспроизвести.
  </Step>

  <Step title="Экспортируйте для калибровки симуляции">
    Экспортируйте аннотации с точными 3D-координатами. Используйте их как эталон для валидации и настройки параметров симуляции.
  </Step>
</Steps>

### Аннотация данных цифровых двойников

Приложениям цифровых двойников нужны аннотированные данные, связывающие физический мир с его виртуальным представлением. Просмотрщик Gaussian Splat в Avala особенно полезен здесь — он рендерит фотореалистичные 3D-реконструкции сцен, по которым аннотаторы могут навигировать и размечать, как если бы они были в реальном окружении.

Просмотрщик предоставляет:

* **Панель иерархии сцены** — Просмотр и выбор объектов в дереве сцены
* **Инспектор свойств** — Просмотр и редактирование атрибутов объектов
* **Статистика в реальном времени** — Мониторинг производительности рендеринга
* **Отмена/повтор** — Полная история редактирования для исправления аннотаций

### Навигация и планирование путей

Для роботов и автономных систем, которым нужно навигировать в физических пространствах, аннотируйте проходимые регионы, препятствия и путевые точки в данных облаков точек. Используйте полилинии для определения путей и границ, а 3D-кубоиды — для отметки препятствий с размерами и ориентацией.

## Используемые функции Avala

| Функция                    | Назначение                                                | Подробнее                                                           |
| -------------------------- | --------------------------------------------------------- | ------------------------------------------------------------------- |
| Просмотрщик Gaussian Splat | Визуализация и аннотация 3D-реконструкций сцен            | [Обзор визуализации](/docs/ru/visualization/overview)                    |
| Визуализация облаков точек | Инспекция пространственных данных с 6 режимами рендеринга | [Обзор визуализации](/docs/ru/visualization/overview)                    |
| Интеграция MCAP / ROS      | Приём мультисенсорных записей систем воплощённого AI      | [MCAP и ROS](/docs/visualization/mcap-ros/overview)                      |
| 3D-аннотация кубоидами     | Разметка объектов в 3D с точной позицией и размерами      | [Инструмент 3D-кубоидов](/docs/annotation/guides/tools/cuboid-3d)        |
| Классификация              | Категориальные метки на уровне сцены и объекта            | [Инструмент классификации](/docs/annotation/guides/tools/classification) |
| Python SDK                 | Программное управление наборами данных и экспорт          | [Python SDK](/docs/ru/sdks/python)                                       |
| TypeScript SDK             | Интеграция с пайплайнами Node.js                          | [TypeScript SDK](/docs/ru/sdks/typescript)                               |
| Облачное хранилище         | Подключение S3 или GCS для больших 3D-наборов данных      | [Облачное хранилище](/docs/integrations/cloud-storage)                   |

## Пример пайплайна

```
Real-world environment capture (LiDAR, cameras, depth sensors)
  -> Generate 3D reconstruction (Gaussian Splat or point cloud)
  -> Upload to Avala dataset
  -> Visualize in 3D viewer -- inspect scene structure and quality
  -> Create annotation project with 3D cuboid + classification task
  -> Annotators label objects, regions, and spatial relationships
  -> QC review in the same 3D viewer
  -> Export with 3D coordinates and metadata
  -> Feed into embodied AI training / simulation calibration pipeline
```

## Начало работы

<Steps>
  <Step title="Выберите формат данных">
    Используйте формат Gaussian Splat для реконструкций сцен, PCD/PLY для необработанных облаков точек или MCAP для мультисенсорных записей воплощённых систем.
  </Step>

  <Step title="Загрузите и визуализируйте">
    Создайте набор данных с соответствующим типом данных и загрузите файлы. Откройте их в 3D-просмотрщике для исследования пространственных данных.
  </Step>

  <Step title="Определите схему аннотации">
    Настройте классы объектов и атрибуты в соответствии с требованиями вашей модели — категории объектов, материалы, состояния, пространственные отношения.
  </Step>

  <Step title="Аннотируйте в 3D">
    Ваша команда размещает 3D-кубоиды и метки классификации прямо в облаке точек или сцене Gaussian Splat.
  </Step>

  <Step title="Экспортируйте и интегрируйте">
    Экспортируйте аннотации с 3D-координатами через API или SDK. Интегрируйте в ваш пайплайн обучения, симуляцию или систему цифровых двойников.
  </Step>
</Steps>

## Следующие шаги

<CardGroup cols={2}>
  <Card title="Обзор визуализации" icon="eye" href="/docs/ru/visualization/overview">
    Полный обзор возможностей визуализации Avala, включая просмотрщики Gaussian Splat и облаков точек.
  </Card>

  <Card title="Инструмент 3D-кубоидов" icon="cube" href="/docs/annotation/guides/tools/cuboid-3d">
    Как аннотировать объекты в 3D с точным контролем позиции, размеров и направления.
  </Card>

  <Card title="Типы данных" icon="database" href="/docs/ru/getting-started/data-types">
    Поддерживаемые форматы и требования к загрузке для Splat, Point Cloud, MCAP и других типов данных.
  </Card>

  <Card title="Python SDK" icon="code" href="/docs/ru/sdks/python">
    Программный доступ для управления наборами данных, создания проектов и экспорта аннотаций.
  </Card>
</CardGroup>
