Systemübersicht
Mission Control
Web-UI unter avala.ai — Visualisierung, Annotation, Projektmanagement, Qualitätskontrolle, Datensatzverwaltung
Visualisierungsengine
GPU-beschleunigtes Rendering — Multi-Sensor-Viewer, 3D-Punktwolken-Viewer, Gaussian Splat Viewer, WebGPU/WebGL-Rendering-Pipeline
REST API
api.avala.ai/api/v1 — Datensätze, Projekte, Aufgaben, Exporte, Organisationen. Zugriff über HTTP/cURL, Python SDK, TypeScript SDK oder CLI.Backend-Dienste
Asynchrone Verarbeitung — MCAP-Parsing, Videokonvertierung, Exportgenerierung, Aufgabenverarbeitung, Inferenz-Pipeline
Komponenten
Mission Control
Mission Control ist die Webanwendung von Avala unter avala.ai. Sie bietet:- Datenvisualisierung — GPU-beschleunigte Viewer zum Erkunden von Sensordaten vor, während und nach der Annotation. Multi-Sensor-Wiedergabe, 3D-Punktwolken-Rendering und Gaussian Splat Szenennavigation — alles im Browser.
- Annotationseditor — Speziell entwickelte Werkzeuge zum Labeln von Bildern, Video, Punktwolken und Multi-Sensor-Daten mit Unterstützung für Bounding Boxes, Polygone, Quader, Segmentierung, Polylinien und Keypoints.
- Projektmanagement — Erstellen und konfigurieren Sie Annotationsprojekte, definieren Sie Label-Taxonomien, weisen Sie Arbeit an Teammitglieder zu und überwachen Sie den Fortschritt.
- Qualitätskontrolle — Überprüfen Sie eingereichte Annotationen, markieren Sie Probleme, verfolgen Sie Akzeptanzraten und führen Sie Konsens-Workflows durch.
- Datensatzverwaltung — Laden Sie Daten hoch, organisieren Sie Elemente in Sequenzen, durchsuchen Sie Datensätze und verwalten Sie Zugriffsberechtigungen.
Visualisierungsengine
Die Visualisierungsengine läuft im Browser und bietet GPU-beschleunigtes Rendering für Sensordaten:- Multi-Sensor-Viewer — Synchronisierte Wiedergabe von MCAP- und ROS-Aufnahmen mit acht Paneltypen: Bild, 3D / Punktwolke, Plot, Rohnachrichten, Log, Karte, Anzeige und Zustandsübergänge. Automatische Topic-Erkennung und intelligente Layout-Komposition ordnen Panels basierend auf Ihren Daten an.
- 3D-Punktwolken-Viewer — Rendert LiDAR-Daten mit sechs Visualisierungsmodi (Neutral, Intensität, Regenbogen, Label, Panoptisch, Bildprojektion). Vogelperspektive, Perspektiv- und Seitenansichten. WebGPU Compute Shader übernehmen Frustum Culling und Level-of-Detail-Rendering für hohe Bildraten bei dichten Scans.
- Gaussian Splat Viewer — WebGPU-beschleunigtes Rendering von 3D Gaussian Splat Szenenrekonstruktionen. GPU-Radix-Sortierung, Buffer-Pooling und Pipeline-Vorkompilierung liefern Echtzeitnavigation durch fotorealistische Umgebungen.
- Rendering-Pipeline — WebGPU wird bevorzugt mit automatischem WebGL-Fallback für breitere Browserunterstützung. Feature Flags steuern Compute Shader, Render Bundles und WGSL-Shader-Kompilierung.
- Multi-Fenster-Layout — Konfigurierbare Panelanordnungen mit Drag-and-Drop. Ein baumbasiertes Layoutsystem mit automatischem Ausgleich ermöglicht es Ihnen, die Panel-Organisation anzupassen, oder lassen Sie den Layout-Composer eine optimierte Anordnung aus Ihren Daten erstellen.
REST API
Die REST API unterapi.avala.ai/api/v1 bietet programmatischen Zugriff auf alle Plattformfunktionen. Alle Anfragen authentifizieren sich mit einem API Key im X-Avala-Api-Key Header.
Kernressourcen:
| Ressource | Beschreibung |
|---|---|
| Datensätze | Datensätze und ihre Elemente erstellen, auflisten und verwalten |
| Projekte | Annotations-Workflows, Label-Taxonomien und Aufgabeneinstellungen konfigurieren |
| Aufgaben | Einzelne Annotationsarbeitseinheiten zuweisen, verfolgen und verwalten |
| Exporte | Annotierte Daten in verschiedenen Formaten generieren und herunterladen |
| Organisationen | Teams, Mitglieder, Rollen und Berechtigungen verwalten |
SDKs
Sie können die REST API direkt aus jeder Sprache mit Standard-HTTP-Clients aufrufen (siehe REST API), oder die offiziellen SDKs verwenden:- Python SDK (
pip install avala) — Synchrone und asynchrone Clients, Pydantic-Modelle, automatische Paginierung, typisierte Exceptions, CLI-Werkzeug. - TypeScript SDK (
npm install @avala-ai/sdk) — Vollständig typisierter Client mit Promise-basierter API für Node.js und Edge-Runtimes. - CLI (
curl -fsSL https://avala.ai/install.sh | bash) — Verwalten Sie Datensätze, Projekte, Exporte und Speicher von Ihrem Terminal aus.
Backend-Dienste
Backend-Dienste übernehmen die asynchrone Verarbeitung, die die Plattform antreibt:- MCAP-Parsing — Extrahiert und synchronisiert Sensorstreams aus MCAP-Aufnahmen, erkennt Nachrichtentypen und erstellt Frame-Indizes für den Multi-Sensor-Viewer.
- Videokonvertierung — Teilt hochgeladene Videodateien in Bildsequenzen für Visualisierung und Annotation.
- Exportgenerierung — Erzeugt herunterladbare Exporte in JSON, COCO, KITTI und anderen Formaten.
- Aufgabenverarbeitung — Generiert und verteilt Annotationsaufgaben basierend auf der Projektkonfiguration.
- Inferenz-Pipeline — Führt Modellinferenz für KI-unterstützte Annotation und Vorannotation durch.
Speicher
Der Speicher verwaltet alle persistenten Daten:- Datensatz-Dateien — Rohbilder, Videobilder, Punktwolken und MCAP-Aufnahmen.
- Annotationen — Von Annotatoren produzierte gelabelte Daten (Bounding Boxes, Polygone, Quader, Masken).
- Exporte — Generierte Exportdateien zum Download.
- Modellartefakte — Gewichte und Konfigurationen für Inferenzmodelle, die beim KI-unterstützten Labeling verwendet werden.
MCP Server
Der MCP (Model Context Protocol) Server stellt Avala-Werkzeuge für KI-Assistenten wie Claude, Cursor und VS Code Copilot bereit. Er ermöglicht die Interaktion mit Datensätzen, Projekten und Exporten in natürlicher Sprache, ohne Ihre Entwicklungsumgebung verlassen zu müssen.Das Paket
@avala-ai/mcp-server ist auf npm verfügbar. Installation mit npm install -g @avala-ai/mcp-server oder Verwendung von npx. Siehe den MCP Setup-Guide für Installationsanweisungen.Wie die Komponenten zusammenwirken
- Benutzer interagieren mit Avala über Mission Control (Web-UI) oder programmatisch über die REST API und SDKs.
- Mission Control lädt Daten über die REST API und rendert sie mit der Visualisierungsengine direkt im Browser — kein serverseitiges Rendering erforderlich.
- Alle Client-Schnittstellen kommunizieren mit derselben REST API, sodass Aktionen in Mission Control sofort über die API sichtbar sind und umgekehrt.
- Die REST API validiert Anfragen, verwaltet Ressourcen und leitet Arbeit an Backend-Dienste für asynchrone Verarbeitung weiter.
- Backend-Dienste verarbeiten Aufgaben (MCAP-Parsing, Videokonvertierung, Exportgenerierung) und schreiben Ergebnisse zurück in den Speicher.
Nächste Schritte
API-Referenz
Basis-URL, Authentifizierung, Endpoints und Antwortformat.
Avala mit KI nutzen
Verbinden Sie Avala mit Claude, Cursor und VS Code über MCP.
Datentypen
Visualisierungsfähigkeiten und Annotationswerkzeuge für jeden Datentyp.
Grundkonzepte
Viewer, Panels, Layouts, Zeitleisten und andere Plattformkonzepte.