Visualización para datos de robótica
Los datos de sensores de robótica a menudo llegan como bags grabados o archivos MCAP de ejecuciones de prueba, despliegues de campo o simulación. El visor multi-sensor de Avala le permite reproducir estas grabaciones e inspeccionarlas antes de comprometerse con la anotación.Reproducción MCAP
Suba grabaciones MCAP de su robot y reproduzca flujos de cámara, profundidad, LiDAR e IMU en un visor sincronizado.
Visualización de nubes de puntos
Renderice nubes de puntos de cámaras de profundidad y LiDAR con aceleración GPU. Alterne entre 6 modos de visualización para inspeccionar densidad, intensidad y estructura espacial.
Vistas multi-cámara
Vea múltiples flujos de cámara (RGB, profundidad, estéreo) lado a lado, sincronizados con las mismas marcas de tiempo en la grabación.
Navegación por línea de tiempo
Avance fotograma a fotograma a través de operaciones del robot para encontrar momentos clave — intentos de agarre, decisiones de navegación, eventos de colisión.
Tipos de datos
| Aplicación | Tipo de dato en Avala | Anotación típica |
|---|---|---|
| Navegación interior | Image, Point Cloud | Bounding boxes 2D/3D, segmentación |
| Pick-and-place | Image | Bounding boxes, keypoints, máscaras de segmentación |
| Robots móviles exteriores | MCAP, Point Cloud | Cuboides 3D, polilíneas |
| Manipulación | Image, Video | Keypoints, bounding boxes |
| Robots de almacén | Image, MCAP | Bounding boxes, segmentación, clasificación |
Tareas comunes
Detección de objetos y agarre
Etiquete objetos en estantes, mesas y cintas transportadoras con bounding boxes y máscaras de segmentación de instancias para modelos de planificación de agarre. Para tareas de bin-picking, combine bounding boxes con anotaciones de keypoints para marcar puntos de agarre en cada objeto.Segmentación de escena
Cree máscaras de segmentación a nivel de píxel para pisos, paredes, obstáculos, espacio libre y otros tipos de superficie. Los datos de segmentación entrenan modelos de navegación para comprender qué áreas puede transitar el robot y cuáles están bloqueadas.Anotación de keypoints
Marque posiciones de articulaciones, puntas de herramientas, puntos de agarre y puntos de referencia de pose. Los esqueletos de keypoints son configurables — defina el número de puntos y sus conexiones para que coincidan con la entrada esperada de su modelo.Clasificación de terreno
Para robots móviles exteriores, clasifique superficies transitables vs. no transitables. Combine clasificación a nivel de imagen (tipo de terreno, pendiente) con máscaras de segmentación que delimitan zonas seguras de obstáculos.Detección de actividades y eventos
Anote grabaciones de video de operaciones del robot para etiquetar eventos específicos: agarre exitoso, agarre fallido, colisión, recuperación. Use etiquetas de clasificación en secuencias o rangos de fotogramas para anotación temporal de eventos.Características de Avala utilizadas
| Característica | Propósito | Más información |
|---|---|---|
| Integración MCAP / ROS | Ingeste grabaciones de sensores de robots directamente | MCAP y ROS |
| Visor multi-sensor | Reproducción sincronizada de flujos de sensores de robots | Visor multi-sensor |
| Visualización de nubes de puntos | Inspeccione datos de cámara de profundidad y LiDAR con 6 modos de renderizado | Visión general de visualización |
| Anotación de bounding boxes | Etiquete objetos para modelos de detección | Herramienta bounding box |
| Anotación de keypoints | Marque posiciones de articulaciones y puntos de agarre | Herramienta keypoints |
| Anotación de segmentación | Máscaras a nivel de píxel para comprensión de escenas | Herramienta segmentación |
| Anotación de polígonos | Límites precisos para objetos irregulares | Herramienta polígono |
| Control de calidad | Revisión multi-etapa para etiquetas de precisión crítica | Control de calidad |
| Slices | Organice datos por entorno, escenario o plataforma de robot | API de slices |
Pipeline de ejemplo
Primeros pasos
Suba grabaciones de robots
Cree un dataset y suba sus archivos MCAP. El visor detecta automáticamente topics de cámara, profundidad, LiDAR e IMU.
Explore los datos
Reproduzca grabaciones para comprender la cobertura de sensores y la calidad de datos. Use la navegación fotograma a fotograma para encontrar momentos clave.
Defina su tarea de anotación
Elija el tipo de anotación que coincida con la entrada de su modelo: bounding boxes para detección, keypoints para estimación de pose, segmentación para comprensión de escenas.
Configure la taxonomía de etiquetas
Defina clases de objetos y atributos relevantes para el entorno de tareas de su robot (ej.,
cup, plate, obstacle, free_space).Gestión de flotas
Para equipos que operan flotas de robots, Avala proporciona gestión de grabaciones a escala de flota y observabilidad:- Registro de dispositivos — Rastree todos los robots de su flota con metadatos, versiones de firmware y estado de salud.
- Explorador de grabaciones — Filtre y ordene grabaciones a través de dispositivos por fecha, estado y etiquetas.
- Eventos de línea de tiempo — Marque errores, anomalías y cambios de estado en grabaciones para análisis a nivel de flota.
- Reglas de grabación — Marque automáticamente grabaciones que coincidan con condiciones (ej., alta latencia, frecuencia de errores).
- Alertas — Enrute notificaciones a Slack, correo electrónico o webhooks cuando cambien las condiciones de la flota.
Próximos pasos
Panel de flota
Gestione dispositivos, grabaciones y telemetría a través de su flota de robots.
MCAP y ROS
Formatos soportados y cómo preparar grabaciones de robots para subida.
Herramientas de anotación
Visión general de todas las herramientas de anotación disponibles para datos de robótica.
Mejores prácticas de grabación
Consejos para grabar datos de robots que funcionan bien en Avala.