> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Робототехника

> Визуализация сенсорных записей и аннотация данных для манипуляции, навигации и понимания сцен

Команды робототехники работают с разнообразными конфигурациями сенсоров — камерами глубины, стереопарами, LiDAR и мультикамерными установками, которые различаются между платформами роботов. Avala справляется с этим разнообразием благодаря нативной поддержке MCAP для воспроизведения записанных сенсорных данных и полному набору инструментов аннотации для разметки обучающих данных восприятия, необходимых моделям манипуляции, навигации и понимания сцен.

## Визуализация данных робототехники

Сенсорные данные робототехники часто поступают в виде записанных бэгов или файлов MCAP из тестовых прогонов, полевых развёртываний или симуляций. Мультисенсорный просмотрщик Avala позволяет воспроизводить эти записи и инспектировать их перед началом аннотации.

<CardGroup cols={2}>
  <Card title="Воспроизведение MCAP" icon="play">
    Загружайте записи MCAP с вашего робота и воспроизводите потоки камер, глубины, LiDAR и IMU в синхронизированном просмотрщике.
  </Card>

  <Card title="Визуализация облаков точек" icon="cube">
    Рендеринг облаков точек с камер глубины и LiDAR с GPU-ускорением. Переключайтесь между 6 режимами визуализации для инспекции плотности, интенсивности и пространственной структуры.
  </Card>

  <Card title="Мультикамерные виды" icon="camera-cctv">
    Просматривайте несколько потоков камер (RGB, глубина, стерео) бок о бок, синхронизированных по одним и тем же временным меткам в записи.
  </Card>

  <Card title="Навигация по таймлайну" icon="clock">
    Перемещайтесь покадрово по операциям робота для поиска ключевых моментов — попытки захвата, решения навигации, события столкновений.
  </Card>
</CardGroup>

<Tip>
  Если ваша команда сейчас использует Foxglove или Rerun для просмотра записей робота, Avala заменяет этап визуализации и добавляет аннотацию, рецензирование и экспорт — всё на одной платформе.
</Tip>

## Типы данных

| Применение                           | Тип данных Avala   | Типичная аннотация                                      |
| ------------------------------------ | ------------------ | ------------------------------------------------------- |
| Навигация в помещениях               | Image, Point Cloud | 2D/3D ограничивающие рамки, сегментация                 |
| Захват и перемещение                 | Image              | Ограничивающие рамки, ключевые точки, маски сегментации |
| Мобильные роботы на открытом воздухе | MCAP, Point Cloud  | 3D-кубоиды, полилинии                                   |
| Манипуляция                          | Image, Video       | Ключевые точки, ограничивающие рамки                    |
| Складские роботы                     | Image, MCAP        | Ограничивающие рамки, сегментация, классификация        |

## Типичные задачи

### Обнаружение объектов и захват

Размечайте объекты на полках, столах и конвейерах ограничивающими рамками и масками сегментации экземпляров для моделей планирования захвата. Для задач подбора из контейнера комбинируйте ограничивающие рамки с аннотациями ключевых точек для обозначения точек захвата на каждом объекте.

### Сегментация сцены

Создавайте попиксельные маски сегментации для полов, стен, препятствий, свободного пространства и других типов поверхностей. Данные сегментации обучают навигационные модели понимать, какие области робот может пересечь, а какие заблокированы.

### Аннотация ключевых точек

Отмечайте положения суставов, наконечники инструментов, точки захвата и ориентиры позы. Скелеты ключевых точек настраиваются — определите количество точек и их связи в соответствии с ожидаемым входом вашей модели.

### Классификация местности

Для мобильных роботов на открытом воздухе классифицируйте проходимые и непроходимые поверхности. Комбинируйте классификацию на уровне изображения (тип местности, уклон) с масками сегментации, разграничивающими безопасные зоны и препятствия.

### Обнаружение действий и событий

Аннотируйте видеозаписи операций робота для разметки конкретных событий: успешный захват, неудачный захват, столкновение, восстановление. Используйте метки классификации на последовательностях или диапазонах кадров для временной аннотации событий.

## Используемые функции Avala

| Функция                           | Назначение                                                               | Подробнее                                                                |
| --------------------------------- | ------------------------------------------------------------------------ | ------------------------------------------------------------------------ |
| Интеграция MCAP / ROS             | Приём записей сенсоров робота                                            | [MCAP и ROS](/docs/visualization/mcap-ros/overview)                           |
| Мультисенсорный просмотрщик       | Синхронное воспроизведение сенсорных потоков робота                      | [Мультисенсорный просмотрщик](/docs/visualization/multi-sensor-viewer)        |
| Визуализация облаков точек        | Инспекция данных камер глубины и LiDAR с 6 режимами рендеринга           | [Обзор визуализации](/docs/ru/visualization/overview)                         |
| Аннотация ограничивающими рамками | Разметка объектов для моделей обнаружения                                | [Инструмент ограничивающих рамок](/docs/annotation/guides/tools/bounding-box) |
| Аннотация ключевых точек          | Разметка положений суставов и точек захвата                              | [Инструмент ключевых точек](/docs/annotation/guides/tools/keypoint)           |
| Аннотация сегментацией            | Попиксельные маски для понимания сцены                                   | [Инструмент сегментации](/docs/annotation/guides/tools/segmentation)          |
| Аннотация полигонами              | Точные границы для объектов неправильной формы                           | [Инструмент полигонов](/docs/annotation/guides/tools/polygon)                 |
| Контроль качества                 | Многоэтапное рецензирование для меток с высокими требованиями к точности | [Контроль качества](/docs/annotation/guides/quality-control)                  |
| Срезы                             | Организация данных по окружению, сценарию или платформе робота           | [API срезов](/docs/api-reference/slices)                                      |

## Пример пайплайна

```
Robot sensor recordings (MCAP from test runs)
  -> Upload to Avala dataset
  -> Review recordings in multi-sensor viewer
  -> Identify frames with relevant scenarios (grasps, navigation events)
  -> Create annotation project (bounding boxes + keypoints)
  -> Annotators label objects and grasp points
  -> QC review with spot-checking and targeted review
  -> Export in COCO or custom format
  -> Train manipulation / navigation model
```

## Начало работы

<Steps>
  <Step title="Загрузите записи робота">
    Создайте набор данных и загрузите файлы MCAP. Просмотрщик автоматически определяет топики камер, глубины, LiDAR и IMU.
  </Step>

  <Step title="Исследуйте данные">
    Воспроизведите записи для понимания охвата сенсоров и качества данных. Используйте покадровую навигацию для поиска ключевых моментов.
  </Step>

  <Step title="Определите задачу аннотации">
    Выберите тип аннотации, соответствующий входным данным вашей модели: ограничивающие рамки для обнаружения, ключевые точки для оценки позы, сегментация для понимания сцены.
  </Step>

  <Step title="Настройте таксономию меток">
    Определите классы объектов и атрибуты, релевантные рабочей среде вашего робота (например, `cup`, `plate`, `obstacle`, `free_space`).
  </Step>

  <Step title="Аннотируйте, рецензируйте и экспортируйте">
    Ваша команда размечает данные, рецензенты проверяют качество, и вы экспортируете в формате, который ожидает ваш пайплайн обучения.
  </Step>
</Steps>

## Управление парком

Для команд, эксплуатирующих парки роботов, Avala предоставляет управление записями и наблюдаемость на уровне парка:

* **Реестр устройств** — Отслеживайте всех роботов в парке с метаданными, версиями прошивки и статусом здоровья.
* **Обозреватель записей** — Фильтруйте и сортируйте записи по устройствам, дате, статусу и тегам.
* **События на таймлайне** — Отмечайте ошибки, аномалии и изменения состояний на записях для анализа всего парка.
* **Правила записи** — Автоматическая отметка записей по условиям (например, высокая задержка, частота ошибок).
* **Оповещения** — Направляйте уведомления в Slack, email или вебхуки при изменении условий парка.

Подробности см. в [Панели управления парком](/docs/visualization/fleet/fleet-dashboard).

## Следующие шаги

<CardGroup cols={2}>
  <Card title="Панель управления парком" icon="satellite-dish" href="/docs/visualization/fleet/fleet-dashboard">
    Управляйте устройствами, записями и телеметрией парка роботов.
  </Card>

  <Card title="MCAP и ROS" icon="robot" href="/docs/visualization/mcap-ros/overview">
    Поддерживаемые форматы и подготовка записей робота к загрузке.
  </Card>

  <Card title="Инструменты аннотации" icon="pen-to-square" href="/docs/annotation/guides/annotation-tools">
    Обзор всех инструментов аннотации для данных робототехники.
  </Card>

  <Card title="Лучшие практики записи" icon="circle-check" href="/docs/visualization/guides/recording-best-practices">
    Советы по записи данных робота для эффективной работы в Avala.
  </Card>
</CardGroup>