Warum Avala für Physical AI
Traditionelle Annotationsplattformen sind für 2D-Bilder gebaut. Physical AI Teams müssen mit 3D-Szenen, Punktwolken, Multi-Sensor-Aufnahmen und räumlichen Rekonstruktionen arbeiten. Avala verarbeitet all diese nativ.Gaussian Splat Viewer
Laden Sie 3D Gaussian Splat Szenenrekonstruktionen in einen WebGPU-gerenderten Viewer mit Szenenhierarchie, Eigenschafteninspektor und Echtzeitstatistiken. Navigieren und annotieren Sie direkt in der rekonstruierten 3D-Umgebung.
Punktwolken-Visualisierung
GPU-beschleunigtes Punktwolken-Rendering mit 6 Visualisierungsmodi. Inspizieren Sie räumliche Struktur, Dichte und Sensorabdeckung mit Neutral-, Intensitäts-, Regenbogen-, Label-, Panoptisch- und Bildprojektions-Ansichten.
Multi-Sensor MCAP-Wiedergabe
Spielen Sie aufgezeichnete Sensordaten von Embodied AI Systemen ab — Kameras, Tiefensensoren, LiDAR, IMU — in einem synchronisierten Multi-Panel-Viewer.
3D-Annotationswerkzeuge
Annotieren Sie 3D-Quader, Klassifikationslabels und Objektattribute direkt auf Punktwolken und Gaussian Splat Szenen, ohne das Werkzeug zu wechseln.
Datentypen
| Anwendung | Avala-Datentyp | Typische Annotation |
|---|---|---|
| Szenenrekonstruktion | Splat (Gaussian Splat) | 3D-Quader, Klassifikation |
| Räumliche Kartierung | Punktwolke | 3D-Quader, Segmentierung |
| Embodied Agent-Aufnahmen | MCAP | Multi-Sensor-Annotation mit Tracking |
| Navigationstraining | Punktwolke, MCAP | 3D-Quader, Polylinien |
| Objekterkennung | Bild, Punktwolke | Bounding Boxes, 3D-Quader |
| Digitale Zwillinge | Splat, Punktwolke | Klassifikation, Objektattribute |
Anwendungsfälle
Szenenverständnis für Embodied AI
Embodied AI Agents müssen die 3D-Struktur ihrer Umgebung verstehen: wo sich Objekte befinden, welche Oberflächen befahrbar sind und wie der Raum organisiert ist. Die Punktwolken- und Gaussian Splat Viewer von Avala ermöglichen es Ihnen, erfasste Umgebungen zu visualisieren und dann Objekte, Regionen und räumliche Beziehungen zu annotieren, die Szenenverständnismodelle trainieren. Workflow: Umgebung mit LiDAR oder Tiefenkameras erfassen -> Punktwolke oder Gaussian Splat Rekonstruktion hochladen -> im 3D-Viewer visualisieren und inspizieren -> Objekte mit 3D-Quadern und Klassifikationslabels annotieren -> für Modelltraining exportieren.3D-Objekterkennung
Trainieren Sie Modelle zur Erkennung von Objekten im 3D-Raum mit annotierten Punktwolken und Szenenrekonstruktionen. Das 3D-Quader-Werkzeug ermöglicht Annotatoren, präzise Begrenzungsvolumen um Objekte mit voller Kontrolle über Position, Abmessungen und Richtung zu platzieren. Klassifikationsattribute fügen jedem Objekt Kategorie-, Material- und Zustandsmetadaten hinzu.Sim-to-Real-Transfer
Teams, die Simulationsumgebungen erstellen, benötigen gelabelte reale Daten, um ihre Simulationen zu validieren und zu kalibrieren. Avala übernimmt die Realwelt-Seite der Pipeline:Reale Daten erfassen
Zeichnen Sie Multi-Sensor-Daten aus der Zielumgebung mit Ihrem Roboter oder Sensor-Rig auf. Verwenden Sie das MCAP-Format für Multi-Sensor-Aufnahmen oder PCD/PLY für eigenständige Punktwolken.
Rekonstruieren und visualisieren
Laden Sie Gaussian Splat Rekonstruktionen oder rohe Punktwolken hoch. Erkunden Sie die Daten in den 3D-Viewern von Avala, um die Szenenstruktur zu verstehen.
Ground Truth annotieren
Labeln Sie Objekte, Regionen und räumliche Beziehungen, die Ihre Simulation präzise replizieren muss.
Datenannotation für digitale Zwillinge
Anwendungen für digitale Zwillinge benötigen annotierte Daten, die die physische Welt auf ihre virtuelle Darstellung abbilden. Der Gaussian Splat Viewer von Avala ist hier besonders nützlich — er rendert fotorealistische 3D-Szenenrekonstruktionen, in denen Annotatoren navigieren und labeln können, als wären sie in der realen Umgebung. Der Viewer bietet:- Szenenhierarchie-Panel — Objekte im Szenenbaum durchsuchen und auswählen
- Eigenschafteninspektor — Objektattribute anzeigen und bearbeiten
- Echtzeitstatistiken — Rendering-Performance überwachen
- Rückgängig/Wiederherstellen — Vollständige Bearbeitungshistorie für Annotationskorrekturen
Navigation und Pfadplanung
Für Roboter und autonome Systeme, die physische Räume navigieren müssen: Annotieren Sie befahrbare Regionen, Hindernisse und Wegpunkte in Punktwolkendaten. Verwenden Sie Polylinien, um Pfade und Grenzen zu definieren, und 3D-Quader, um Hindernisse mit Größe und Orientierung zu markieren.Verwendete Avala-Funktionen
| Funktion | Zweck | Mehr erfahren |
|---|---|---|
| Gaussian Splat Viewer | 3D-Szenenrekonstruktionen visualisieren und annotieren | Visualisierungsübersicht |
| Punktwolken-Visualisierung | Räumliche Daten mit 6 Rendering-Modi inspizieren | Visualisierungsübersicht |
| MCAP / ROS-Integration | Multi-Sensor-Aufnahmen von Embodied AI Systemen aufnehmen | MCAP & ROS |
| 3D-Quader-Annotation | Objekte im 3D-Raum mit präziser Position und Abmessungen labeln | 3D-Quader-Werkzeug |
| Klassifikation | Kategorische Labels auf Szenen- und Objektebene | Klassifikationswerkzeug |
| Python SDK | Programmatische Datensatzverwaltung und Export | Python SDK |
| TypeScript SDK | Integration mit Node.js-Pipelines | TypeScript SDK |
| Cloud-Speicher | S3 oder GCS für große 3D-Datensätze verbinden | Cloud-Speicher |
Beispiel-Pipeline
Erste Schritte
Datenformat wählen
Verwenden Sie das Gaussian Splat Format für Szenenrekonstruktionen, PCD/PLY für rohe Punktwolken oder MCAP für Multi-Sensor-Aufnahmen von Embodied Systemen.
Hochladen und visualisieren
Erstellen Sie einen Datensatz mit dem passenden Datentyp und laden Sie Ihre Dateien hoch. Öffnen Sie diese im 3D-Viewer, um die räumlichen Daten zu erkunden.
Annotationsschema definieren
Richten Sie Objektklassen und Attribute ein, die den Anforderungen Ihres Modells entsprechen — Objektkategorien, Materialien, Zustände, räumliche Beziehungen.
In 3D annotieren
Ihr Team platziert 3D-Quader und Klassifikationslabels direkt in der Punktwolke oder Gaussian Splat Szene.
Nächste Schritte
Visualisierungsübersicht
Vollständige Übersicht der Visualisierungsfähigkeiten von Avala, einschließlich Gaussian Splat und Punktwolken-Viewer.
3D-Quader-Werkzeug
Wie Sie Objekte in 3D mit präziser Kontrolle über Position, Abmessung und Richtung annotieren.
Datentypen
Unterstützte Formate und Upload-Anforderungen für Splat, Punktwolke, MCAP und andere Datentypen.
Python SDK
Programmatischer Zugriff für Datensatzverwaltung, Projekterstellung und Annotationsexport.