> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Robótica

> Visualice grabaciones de sensores y anote datos para manipulación, navegación y comprensión de escenas

Los equipos de robótica trabajan con configuraciones de sensores diversas -- cámaras de profundidad, equipos estéreo, LiDAR y configuraciones multi-cámara que cambian entre plataformas de robots. Avala maneja esta variedad con soporte nativo de MCAP para reproducir datos de sensores grabados y un kit completo de herramientas de anotación para etiquetar los datos de entrenamiento de percepción que requieren los modelos de manipulación, navegación y comprensión de escenas.

## Visualización para datos de robótica

Los datos de sensores de robótica a menudo llegan como bags grabados o archivos MCAP de ejecuciones de prueba, despliegues de campo o simulación. El visor multi-sensor de Avala le permite reproducir estas grabaciones e inspeccionarlas antes de comprometerse con la anotación.

<CardGroup cols={2}>
  <Card title="Reproducción MCAP" icon="play">
    Suba grabaciones MCAP de su robot y reproduzca flujos de cámara, profundidad, LiDAR e IMU en un visor sincronizado.
  </Card>

  <Card title="Visualización de nubes de puntos" icon="cube">
    Renderice nubes de puntos de cámaras de profundidad y LiDAR con aceleración GPU. Alterne entre 6 modos de visualización para inspeccionar densidad, intensidad y estructura espacial.
  </Card>

  <Card title="Vistas multi-cámara" icon="camera-cctv">
    Vea múltiples flujos de cámara (RGB, profundidad, estéreo) lado a lado, sincronizados con las mismas marcas de tiempo en la grabación.
  </Card>

  <Card title="Navegación por línea de tiempo" icon="clock">
    Avance fotograma a fotograma a través de operaciones del robot para encontrar momentos clave -- intentos de agarre, decisiones de navegación, eventos de colisión.
  </Card>
</CardGroup>

<Tip>
  Si su equipo actualmente usa Foxglove o Rerun para revisar grabaciones de robots, Avala reemplaza el paso de visualización y agrega anotación, revisión y exportación -- todo en una plataforma.
</Tip>

## Tipos de datos

| Aplicación                | Tipo de dato en Avala | Anotación típica                                    |
| ------------------------- | --------------------- | --------------------------------------------------- |
| Navegación interior       | Image, Point Cloud    | Bounding boxes 2D/3D, segmentación                  |
| Pick-and-place            | Image                 | Bounding boxes, keypoints, máscaras de segmentación |
| Robots móviles exteriores | MCAP, Point Cloud     | Cuboides 3D, polilíneas                             |
| Manipulación              | Image, Video          | Keypoints, bounding boxes                           |
| Robots de almacén         | Image, MCAP           | Bounding boxes, segmentación, clasificación         |

## Tareas comunes

### Detección de objetos y agarre

Etiquete objetos en estantes, mesas y cintas transportadoras con bounding boxes y máscaras de segmentación de instancias para modelos de planificación de agarre. Para tareas de bin-picking, combine bounding boxes con anotaciones de keypoints para marcar puntos de agarre en cada objeto.

### Segmentación de escena

Cree máscaras de segmentación a nivel de píxel para pisos, paredes, obstáculos, espacio libre y otros tipos de superficie. Los datos de segmentación entrenan modelos de navegación para comprender qué áreas puede transitar el robot y cuáles están bloqueadas.

### Anotación de keypoints

Marque posiciones de articulaciones, puntas de herramientas, puntos de agarre y puntos de referencia de pose. Los esqueletos de keypoints son configurables -- defina el número de puntos y sus conexiones para que coincidan con la entrada esperada de su modelo.

### Clasificación de terreno

Para robots móviles exteriores, clasifique superficies transitables vs. no transitables. Combine clasificación a nivel de imagen (tipo de terreno, pendiente) con máscaras de segmentación que delimitan zonas seguras de obstáculos.

### Detección de actividades y eventos

Anote grabaciones de video de operaciones del robot para etiquetar eventos específicos: agarre exitoso, agarre fallido, colisión, recuperación. Use etiquetas de clasificación en secuencias o rangos de fotogramas para anotación temporal de eventos.

## Características de Avala utilizadas

| Característica                   | Propósito                                                                     | Más información                                                   |
| -------------------------------- | ----------------------------------------------------------------------------- | ----------------------------------------------------------------- |
| Integración MCAP / ROS           | Ingeste grabaciones de sensores de robots directamente                        | [MCAP y ROS](/docs/visualization/mcap-ros/overview)                    |
| Visor multi-sensor               | Reproducción sincronizada de flujos de sensores de robots                     | [Visor multi-sensor](/docs/visualization/multi-sensor-viewer)          |
| Visualización de nubes de puntos | Inspeccione datos de cámara de profundidad y LiDAR con 6 modos de renderizado | [Visión general de visualización](/docs/es/visualization/overview)     |
| Anotación de bounding boxes      | Etiquete objetos para modelos de detección                                    | [Herramienta bounding box](/docs/annotation/guides/tools/bounding-box) |
| Anotación de keypoints           | Marque posiciones de articulaciones y puntos de agarre                        | [Herramienta keypoints](/docs/annotation/guides/tools/keypoint)        |
| Anotación de segmentación        | Máscaras a nivel de píxel para comprensión de escenas                         | [Herramienta segmentación](/docs/annotation/guides/tools/segmentation) |
| Anotación de polígonos           | Límites precisos para objetos irregulares                                     | [Herramienta polígono](/docs/annotation/guides/tools/polygon)          |
| Control de calidad               | Revisión multi-etapa para etiquetas de precisión crítica                      | [Control de calidad](/docs/annotation/guides/quality-control)          |
| Slices                           | Organice datos por entorno, escenario o plataforma de robot                   | [API de slices](/docs/api-reference/slices)                            |

## Pipeline de ejemplo

```
Robot sensor recordings (MCAP from test runs)
  -> Upload to Avala dataset
  -> Review recordings in multi-sensor viewer
  -> Identify frames with relevant scenarios (grasps, navigation events)
  -> Create annotation project (bounding boxes + keypoints)
  -> Annotators label objects and grasp points
  -> QC review with spot-checking and targeted review
  -> Export in COCO or custom format
  -> Train manipulation / navigation model
```

## Primeros pasos

<Steps>
  <Step title="Suba grabaciones de robots">
    Cree un dataset y suba sus archivos MCAP. El visor detecta automáticamente topics de cámara, profundidad, LiDAR e IMU.
  </Step>

  <Step title="Explore los datos">
    Reproduzca grabaciones para comprender la cobertura de sensores y la calidad de datos. Use la navegación fotograma a fotograma para encontrar momentos clave.
  </Step>

  <Step title="Defina su tarea de anotación">
    Elija el tipo de anotación que coincida con la entrada de su modelo: bounding boxes para detección, keypoints para estimación de pose, segmentación para comprensión de escenas.
  </Step>

  <Step title="Configure la taxonomía de etiquetas">
    Defina clases de objetos y atributos relevantes para el entorno de tareas de su robot (ej., `cup`, `plate`, `obstacle`, `free_space`).
  </Step>

  <Step title="Anote, revise y exporte">
    Su equipo etiqueta los datos, los revisores verifican la calidad y usted exporta en el formato que espera su pipeline de entrenamiento.
  </Step>
</Steps>

## Gestión de flotas

Para equipos que operan flotas de robots, Avala proporciona gestión de grabaciones a escala de flota y observabilidad:

* **Registro de dispositivos** — Rastree todos los robots de su flota con metadatos, versiones de firmware y estado de salud.
* **Explorador de grabaciones** — Filtre y ordene grabaciones a través de dispositivos por fecha, estado y etiquetas.
* **Eventos de línea de tiempo** — Marque errores, anomalías y cambios de estado en grabaciones para análisis a nivel de flota.
* **Reglas de grabación** — Marque automáticamente grabaciones que coincidan con condiciones (ej., alta latencia, frecuencia de errores).
* **Alertas** — Enrute notificaciones a Slack, correo electrónico o webhooks cuando cambien las condiciones de la flota.

Consulte [Panel de flota](/docs/visualization/fleet/fleet-dashboard) para comenzar.

## Próximos pasos

<CardGroup cols={2}>
  <Card title="Panel de flota" icon="satellite-dish" href="/docs/visualization/fleet/fleet-dashboard">
    Gestione dispositivos, grabaciones y telemetría a través de su flota de robots.
  </Card>

  <Card title="MCAP y ROS" icon="robot" href="/docs/visualization/mcap-ros/overview">
    Formatos soportados y cómo preparar grabaciones de robots para subida.
  </Card>

  <Card title="Herramientas de anotación" icon="pen-to-square" href="/docs/annotation/guides/annotation-tools">
    Visión general de todas las herramientas de anotación disponibles para datos de robótica.
  </Card>

  <Card title="Mejores prácticas de grabación" icon="circle-check" href="/docs/visualization/guides/recording-best-practices">
    Consejos para grabar datos de robots que funcionan bien en Avala.
  </Card>
</CardGroup>