Visualisation des données robotiques
Les données de capteurs robotiques arrivent souvent sous forme de bags enregistrés ou de fichiers MCAP provenant d’essais, de déploiements sur le terrain ou de simulations. Le visualiseur multi-capteurs d’Avala vous permet de rejouer ces enregistrements et de les inspecter avant de vous engager dans l’annotation.Lecture MCAP
Téléchargez des enregistrements MCAP de votre robot et rejouez les flux caméra, profondeur, LiDAR et IMU dans un visualiseur synchronisé.
Visualisation de nuages de points
Rendez les nuages de points des caméras de profondeur et du LiDAR avec accélération GPU. Basculez entre 6 modes de visualisation pour inspecter la densité, l’intensité et la structure spatiale.
Vues multi-caméras
Visualisez plusieurs flux caméra (RGB, profondeur, stéréo) côte à côte, synchronisés aux mêmes horodatages dans l’enregistrement.
Navigation chronologique
Avancez image par image dans les opérations du robot pour trouver les moments clés — tentatives de saisie, décisions de navigation, événements de collision.
Types de données
| Application | Type de données Avala | Annotation typique |
|---|---|---|
| Navigation intérieure | Image, Nuage de points | Boîtes englobantes 2D/3D, segmentation |
| Pick-and-place | Image | Boîtes englobantes, points clés, masques de segmentation |
| Robots mobiles extérieurs | MCAP, Nuage de points | Cuboïdes 3D, polylignes |
| Manipulation | Image, Vidéo | Points clés, boîtes englobantes |
| Robots d’entrepôt | Image, MCAP | Boîtes englobantes, segmentation, classification |
Tâches courantes
Détection d’objets et saisie
Étiquetez les objets sur les étagères, tables et convoyeurs avec des boîtes englobantes et des masques de segmentation d’instances pour les modèles de planification de saisie. Pour les tâches de bin-picking, combinez les boîtes englobantes avec des annotations de points clés pour marquer les points de saisie sur chaque objet.Segmentation de scène
Créez des masques de segmentation au niveau du pixel pour les sols, murs, obstacles, espaces libres et autres types de surfaces. Les données de segmentation entraînent les modèles de navigation à comprendre quelles zones le robot peut traverser et lesquelles sont bloquées.Annotation de points clés
Marquez les positions des articulations, les pointes d’outils, les points de saisie et les repères de pose. Les squelettes de points clés sont configurables — définissez le nombre de points et leurs connexions pour correspondre à l’entrée attendue de votre modèle.Classification de terrain
Pour les robots mobiles extérieurs, classifiez les surfaces traversables vs. non-traversables. Combinez la classification au niveau de l’image (type de terrain, pente) avec des masques de segmentation qui délimitent les zones sûres des obstacles.Détection d’activité et d’événements
Annotez les enregistrements vidéo d’opérations robotiques pour étiqueter des événements spécifiques : saisie réussie, saisie échouée, collision, récupération. Utilisez des étiquettes de classification sur les séquences ou les plages d’images pour l’annotation d’événements temporels.Fonctionnalités Avala utilisées
| Fonctionnalité | Objectif | En savoir plus |
|---|---|---|
| Intégration MCAP / ROS | Ingérer directement les enregistrements de capteurs robotiques | MCAP et ROS |
| Visualiseur multi-capteurs | Lecture synchronisée des flux de capteurs robotiques | Visualiseur multi-capteurs |
| Visualisation de nuages de points | Inspecter les données de caméras de profondeur et LiDAR avec 6 modes de rendu | Aperçu Visualisation |
| Annotation boîtes englobantes | Étiqueter les objets pour les modèles de détection | Outil Boîte englobante |
| Annotation points clés | Marquer les positions des articulations et les points de saisie | Outil Points clés |
| Annotation segmentation | Masques au niveau du pixel pour la compréhension de scène | Outil Segmentation |
| Annotation polygones | Contours précis pour les objets irréguliers | Outil Polygone |
| Contrôle qualité | Révision multi-étapes pour les étiquettes de haute précision | Contrôle qualité |
| Slices | Organiser les données par environnement, scénario ou plateforme robotique | API Slices |
Pipeline exemple
Commencer
Téléchargez les enregistrements robotiques
Créez un jeu de données et téléchargez vos fichiers MCAP. Le visualiseur détecte automatiquement les topics caméra, profondeur, LiDAR et IMU.
Explorez les données
Rejouez les enregistrements pour comprendre la couverture des capteurs et la qualité des données. Utilisez la navigation image par image pour trouver les moments clés.
Définissez votre tâche d'annotation
Choisissez le type d’annotation correspondant à l’entrée de votre modèle : boîtes englobantes pour la détection, points clés pour l’estimation de pose, segmentation pour la compréhension de scène.
Configurez la taxonomie d'étiquettes
Définissez les classes d’objets et attributs pertinents pour l’environnement de tâche de votre robot (par ex.,
cup, plate, obstacle, free_space).Gestion de flotte
Pour les équipes opérant des flottes de robots, Avala fournit la gestion des enregistrements et l’observabilité à l’échelle de la flotte :- Registre d’appareils — Suivez tous les robots de votre flotte avec les métadonnées, versions de firmware et l’état de santé.
- Navigateur d’enregistrements — Filtrez et triez les enregistrements à travers les appareils par date, statut et tags.
- Événements chronologiques — Marquez les erreurs, anomalies et changements d’état sur les enregistrements pour une analyse à l’échelle de la flotte.
- Règles d’enregistrement — Signalez automatiquement les enregistrements correspondant à des conditions (par ex., latence élevée, fréquence d’erreurs).
- Alertes — Acheminez les notifications vers Slack, email ou webhooks lorsque les conditions de la flotte changent.
Prochaines étapes
Tableau de bord de flotte
Gérez les appareils, enregistrements et télémétrie à travers votre flotte de robots.
MCAP et ROS
Formats supportés et comment préparer les enregistrements robotiques pour le téléchargement.
Outils d'annotation
Aperçu de tous les outils d’annotation disponibles pour les données robotiques.
Bonnes pratiques d'enregistrement
Conseils pour enregistrer des données robotiques qui fonctionnent bien dans Avala.