Visualisierung für Robotikdaten
Robotik-Sensordaten kommen oft als aufgezeichnete Bags oder MCAP-Dateien von Testläufen, Feldeinsätzen oder Simulationen. Der Multi-Sensor-Viewer von Avala ermöglicht es Ihnen, diese Aufnahmen abzuspielen und zu inspizieren, bevor Sie sich zur Annotation verpflichten.MCAP-Wiedergabe
Laden Sie MCAP-Aufnahmen Ihres Roboters hoch und spielen Sie Kamera-, Tiefen-, LiDAR- und IMU-Streams in einem synchronisierten Viewer ab.
Punktwolken-Visualisierung
Rendern Sie Punktwolken von Tiefenkameras und LiDAR mit GPU-Beschleunigung. Wechseln Sie zwischen 6 Visualisierungsmodi, um Dichte, Intensität und räumliche Struktur zu inspizieren.
Multi-Kamera-Ansichten
Betrachten Sie mehrere Kamerastreams (RGB, Tiefe, Stereo) nebeneinander, synchronisiert auf dieselben Zeitstempel in der Aufnahme.
Zeitleisten-Navigation
Gehen Sie Bild für Bild durch Roboteroperationen, um Schlüsselmomente zu finden — Greifversuche, Navigationsentscheidungen, Kollisionsereignisse.
Datentypen
| Anwendung | Avala-Datentyp | Typische Annotation |
|---|---|---|
| Indoor-Navigation | Bild, Punktwolke | 2D/3D-Bounding Boxes, Segmentierung |
| Pick-and-Place | Bild | Bounding Boxes, Keypoints, Segmentierungsmasken |
| Outdoor-Mobilroboter | MCAP, Punktwolke | 3D-Quader, Polylinien |
| Manipulation | Bild, Video | Keypoints, Bounding Boxes |
| Lagerroboter | Bild, MCAP | Bounding Boxes, Segmentierung, Klassifikation |
Häufige Aufgaben
Objekterkennung und Greifen
Labeln Sie Objekte in Regalen, auf Tischen und auf Förderbändern mit Bounding Boxes und Instanzsegmentierungsmasken für Greifplanungsmodelle. Für Bin-Picking-Aufgaben kombinieren Sie Bounding Boxes mit Keypoint-Annotationen, um Greifpunkte an jedem Objekt zu markieren.Szenensegmentierung
Erstellen Sie pixelgenaue Segmentierungsmasken für Böden, Wände, Hindernisse, freien Raum und andere Oberflächentypen. Segmentierungsdaten trainieren Navigationsmodelle, um zu verstehen, welche Bereiche der Roboter befahren kann und welche blockiert sind.Keypoint-Annotation
Markieren Sie Gelenkpositionen, Werkzeugspitzen, Greifpunkte und Posen-Landmarken. Keypoint-Skelette sind konfigurierbar — definieren Sie die Anzahl der Punkte und ihre Verbindungen passend zum erwarteten Input Ihres Modells.Geländeklassifikation
Für Outdoor-Mobilroboter: Klassifizieren Sie befahrbare vs. nicht befahrbare Oberflächen. Kombinieren Sie Bildebenen-Klassifikation (Geländetyp, Neigung) mit Segmentierungsmasken, die sichere Zonen von Hindernissen abgrenzen.Aktivitäts- und Ereigniserkennung
Annotieren Sie Videoaufnahmen von Roboteroperationen, um bestimmte Ereignisse zu labeln: erfolgreicher Griff, gescheiterter Griff, Kollision, Wiederherstellung. Verwenden Sie Klassifikationslabels auf Sequenzen oder Frame-Bereichen für zeitliche Ereignisannotation.Verwendete Avala-Funktionen
| Funktion | Zweck | Mehr erfahren |
|---|---|---|
| MCAP / ROS-Integration | Roboter-Sensoraufnahmen direkt aufnehmen | MCAP & ROS |
| Multi-Sensor-Viewer | Synchronisierte Wiedergabe von Roboter-Sensorstreams | Multi-Sensor-Viewer |
| Punktwolken-Visualisierung | Tiefenkamera- und LiDAR-Daten mit 6 Rendering-Modi inspizieren | Visualisierungsübersicht |
| Bounding-Box-Annotation | Objekte für Erkennungsmodelle labeln | Bounding-Box-Werkzeug |
| Keypoint-Annotation | Gelenkpositionen und Greifpunkte markieren | Keypoint-Werkzeug |
| Segmentierungsannotation | Pixelgenaue Masken für Szenenverständnis | Segmentierungswerkzeug |
| Polygon-Annotation | Präzise Grenzen für unregelmäßige Objekte | Polygon-Werkzeug |
| Qualitätskontrolle | Mehrstufiges Review für präzisionskritische Labels | Qualitätskontrolle |
| Slices | Daten nach Umgebung, Szenario oder Roboterplattform organisieren | Slices API |
Beispiel-Pipeline
Erste Schritte
Roboteraufnahmen hochladen
Erstellen Sie einen Datensatz und laden Sie Ihre MCAP-Dateien hoch. Der Viewer erkennt automatisch Kamera-, Tiefen-, LiDAR- und IMU-Topics.
Daten erkunden
Spielen Sie Aufnahmen ab, um Sensorabdeckung und Datenqualität zu verstehen. Nutzen Sie die Bild-für-Bild-Navigation, um Schlüsselmomente zu finden.
Annotationsaufgabe definieren
Wählen Sie den Annotationstyp passend zum Input Ihres Modells: Bounding Boxes für Erkennung, Keypoints für Posenschätzung, Segmentierung für Szenenverständnis.
Label-Taxonomie einrichten
Definieren Sie Objektklassen und Attribute, die für die Aufgabenumgebung Ihres Roboters relevant sind (z. B.
cup, plate, obstacle, free_space).Flottenmanagement
Für Teams, die Roboterflotten betreiben, bietet Avala flottenweites Aufnahmemanagement und Observability:- Geräteregister — Verfolgen Sie alle Roboter in Ihrer Flotte mit Metadaten, Firmware-Versionen und Gesundheitsstatus.
- Aufnahmen-Browser — Filtern und sortieren Sie Aufnahmen geräteübergreifend nach Datum, Status und Tags.
- Zeitleisten-Events — Markieren Sie Fehler, Anomalien und Zustandsänderungen auf Aufnahmen für flottenweite Analyse.
- Aufnahmeregeln — Kennzeichnen Sie automatisch Aufnahmen, die Bedingungen erfüllen (z. B. hohe Latenz, Fehlerhäufigkeit).
- Warnungen — Leiten Sie Benachrichtigungen an Slack, E-Mail oder Webhooks weiter, wenn sich Flottenbedingungen ändern.
Nächste Schritte
Fleet Dashboard
Verwalten Sie Geräte, Aufnahmen und Telemetrie Ihrer Roboterflotte.
MCAP & ROS
Unterstützte Formate und wie Sie Roboteraufnahmen für den Upload vorbereiten.
Annotationswerkzeuge
Übersicht aller für Robotikdaten verfügbaren Annotationswerkzeuge.
Best Practices für Aufnahmen
Tipps für die Aufnahme von Roboterdaten, die gut mit Avala funktionieren.