> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Robotik

> Sensoraufnahmen visualisieren und Daten für Manipulation, Navigation und Szenenverständnis annotieren

Robotik-Teams arbeiten mit vielfältigen Sensorkonfigurationen — Tiefenkameras, Stereokamera-Rigs, LiDAR und Multi-Kamera-Setups, die sich zwischen Roboterplattformen unterscheiden. Avala bewältigt diese Vielfalt mit nativer MCAP-Unterstützung für die Wiedergabe aufgezeichneter Sensordaten und einem vollständigen Annotationswerkzeug-Set zum Labeln der Wahrnehmungs-Trainingsdaten, die Manipulations-, Navigations- und Szenenverständnismodelle benötigen.

## Visualisierung für Robotikdaten

Robotik-Sensordaten kommen oft als aufgezeichnete Bags oder MCAP-Dateien von Testläufen, Feldeinsätzen oder Simulationen. Der Multi-Sensor-Viewer von Avala ermöglicht es Ihnen, diese Aufnahmen abzuspielen und zu inspizieren, bevor Sie sich zur Annotation verpflichten.

<CardGroup cols={2}>
  <Card title="MCAP-Wiedergabe" icon="play">
    Laden Sie MCAP-Aufnahmen Ihres Roboters hoch und spielen Sie Kamera-, Tiefen-, LiDAR- und IMU-Streams in einem synchronisierten Viewer ab.
  </Card>

  <Card title="Punktwolken-Visualisierung" icon="cube">
    Rendern Sie Punktwolken von Tiefenkameras und LiDAR mit GPU-Beschleunigung. Wechseln Sie zwischen 6 Visualisierungsmodi, um Dichte, Intensität und räumliche Struktur zu inspizieren.
  </Card>

  <Card title="Multi-Kamera-Ansichten" icon="camera-cctv">
    Betrachten Sie mehrere Kamerastreams (RGB, Tiefe, Stereo) nebeneinander, synchronisiert auf dieselben Zeitstempel in der Aufnahme.
  </Card>

  <Card title="Zeitleisten-Navigation" icon="clock">
    Gehen Sie Bild für Bild durch Roboteroperationen, um Schlüsselmomente zu finden — Greifversuche, Navigationsentscheidungen, Kollisionsereignisse.
  </Card>
</CardGroup>

<Tip>
  Wenn Ihr Team derzeit Foxglove oder Rerun zur Überprüfung von Roboteraufnahmen nutzt, ersetzt Avala den Visualisierungsschritt und fügt Annotation, Review und Export hinzu — alles in einer Plattform.
</Tip>

## Datentypen

| Anwendung            | Avala-Datentyp   | Typische Annotation                             |
| -------------------- | ---------------- | ----------------------------------------------- |
| Indoor-Navigation    | Bild, Punktwolke | 2D/3D-Bounding Boxes, Segmentierung             |
| Pick-and-Place       | Bild             | Bounding Boxes, Keypoints, Segmentierungsmasken |
| Outdoor-Mobilroboter | MCAP, Punktwolke | 3D-Quader, Polylinien                           |
| Manipulation         | Bild, Video      | Keypoints, Bounding Boxes                       |
| Lagerroboter         | Bild, MCAP       | Bounding Boxes, Segmentierung, Klassifikation   |

## Häufige Aufgaben

### Objekterkennung und Greifen

Labeln Sie Objekte in Regalen, auf Tischen und auf Förderbändern mit Bounding Boxes und Instanzsegmentierungsmasken für Greifplanungsmodelle. Für Bin-Picking-Aufgaben kombinieren Sie Bounding Boxes mit Keypoint-Annotationen, um Greifpunkte an jedem Objekt zu markieren.

### Szenensegmentierung

Erstellen Sie pixelgenaue Segmentierungsmasken für Böden, Wände, Hindernisse, freien Raum und andere Oberflächentypen. Segmentierungsdaten trainieren Navigationsmodelle, um zu verstehen, welche Bereiche der Roboter befahren kann und welche blockiert sind.

### Keypoint-Annotation

Markieren Sie Gelenkpositionen, Werkzeugspitzen, Greifpunkte und Posen-Landmarken. Keypoint-Skelette sind konfigurierbar — definieren Sie die Anzahl der Punkte und ihre Verbindungen passend zum erwarteten Input Ihres Modells.

### Geländeklassifikation

Für Outdoor-Mobilroboter: Klassifizieren Sie befahrbare vs. nicht befahrbare Oberflächen. Kombinieren Sie Bildebenen-Klassifikation (Geländetyp, Neigung) mit Segmentierungsmasken, die sichere Zonen von Hindernissen abgrenzen.

### Aktivitäts- und Ereigniserkennung

Annotieren Sie Videoaufnahmen von Roboteroperationen, um bestimmte Ereignisse zu labeln: erfolgreicher Griff, gescheiterter Griff, Kollision, Wiederherstellung. Verwenden Sie Klassifikationslabels auf Sequenzen oder Frame-Bereichen für zeitliche Ereignisannotation.

## Verwendete Avala-Funktionen

| Funktion                   | Zweck                                                            | Mehr erfahren                                                   |
| -------------------------- | ---------------------------------------------------------------- | --------------------------------------------------------------- |
| MCAP / ROS-Integration     | Roboter-Sensoraufnahmen direkt aufnehmen                         | [MCAP & ROS](/docs/visualization/mcap-ros/overview)                  |
| Multi-Sensor-Viewer        | Synchronisierte Wiedergabe von Roboter-Sensorstreams             | [Multi-Sensor-Viewer](/docs/visualization/multi-sensor-viewer)       |
| Punktwolken-Visualisierung | Tiefenkamera- und LiDAR-Daten mit 6 Rendering-Modi inspizieren   | [Visualisierungsübersicht](/docs/de/visualization/overview)          |
| Bounding-Box-Annotation    | Objekte für Erkennungsmodelle labeln                             | [Bounding-Box-Werkzeug](/docs/annotation/guides/tools/bounding-box)  |
| Keypoint-Annotation        | Gelenkpositionen und Greifpunkte markieren                       | [Keypoint-Werkzeug](/docs/annotation/guides/tools/keypoint)          |
| Segmentierungsannotation   | Pixelgenaue Masken für Szenenverständnis                         | [Segmentierungswerkzeug](/docs/annotation/guides/tools/segmentation) |
| Polygon-Annotation         | Präzise Grenzen für unregelmäßige Objekte                        | [Polygon-Werkzeug](/docs/annotation/guides/tools/polygon)            |
| Qualitätskontrolle         | Mehrstufiges Review für präzisionskritische Labels               | [Qualitätskontrolle](/docs/annotation/guides/quality-control)        |
| Slices                     | Daten nach Umgebung, Szenario oder Roboterplattform organisieren | [Slices API](/docs/api-reference/slices)                             |

## Beispiel-Pipeline

```
Roboter-Sensoraufnahmen (MCAP von Testläufen)
  -> Upload zum Avala-Datensatz
  -> Aufnahmen im Multi-Sensor-Viewer prüfen
  -> Frames mit relevanten Szenarien identifizieren (Griffe, Navigationsereignisse)
  -> Annotationsprojekt erstellen (Bounding Boxes + Keypoints)
  -> Annotatoren labeln Objekte und Greifpunkte
  -> QC-Review mit Stichprobenprüfung und gezieltem Review
  -> Export in COCO- oder benutzerdefiniertem Format
  -> Manipulations- / Navigationsmodell trainieren
```

## Erste Schritte

<Steps>
  <Step title="Roboteraufnahmen hochladen">
    Erstellen Sie einen Datensatz und laden Sie Ihre MCAP-Dateien hoch. Der Viewer erkennt automatisch Kamera-, Tiefen-, LiDAR- und IMU-Topics.
  </Step>

  <Step title="Daten erkunden">
    Spielen Sie Aufnahmen ab, um Sensorabdeckung und Datenqualität zu verstehen. Nutzen Sie die Bild-für-Bild-Navigation, um Schlüsselmomente zu finden.
  </Step>

  <Step title="Annotationsaufgabe definieren">
    Wählen Sie den Annotationstyp passend zum Input Ihres Modells: Bounding Boxes für Erkennung, Keypoints für Posenschätzung, Segmentierung für Szenenverständnis.
  </Step>

  <Step title="Label-Taxonomie einrichten">
    Definieren Sie Objektklassen und Attribute, die für die Aufgabenumgebung Ihres Roboters relevant sind (z. B. `cup`, `plate`, `obstacle`, `free_space`).
  </Step>

  <Step title="Annotieren, prüfen und exportieren">
    Ihr Team labelt die Daten, Reviewer prüfen die Qualität, und Sie exportieren im Format, das Ihre Trainingspipeline erwartet.
  </Step>
</Steps>

## Flottenmanagement

Für Teams, die Roboterflotten betreiben, bietet Avala flottenweites Aufnahmemanagement und Observability:

* **Geräteregister** — Verfolgen Sie alle Roboter in Ihrer Flotte mit Metadaten, Firmware-Versionen und Gesundheitsstatus.
* **Aufnahmen-Browser** — Filtern und sortieren Sie Aufnahmen geräteübergreifend nach Datum, Status und Tags.
* **Zeitleisten-Events** — Markieren Sie Fehler, Anomalien und Zustandsänderungen auf Aufnahmen für flottenweite Analyse.
* **Aufnahmeregeln** — Kennzeichnen Sie automatisch Aufnahmen, die Bedingungen erfüllen (z. B. hohe Latenz, Fehlerhäufigkeit).
* **Warnungen** — Leiten Sie Benachrichtigungen an Slack, E-Mail oder Webhooks weiter, wenn sich Flottenbedingungen ändern.

Siehe [Fleet Dashboard](/docs/visualization/fleet/fleet-dashboard) für den Einstieg.

## Nächste Schritte

<CardGroup cols={2}>
  <Card title="Fleet Dashboard" icon="satellite-dish" href="/docs/visualization/fleet/fleet-dashboard">
    Verwalten Sie Geräte, Aufnahmen und Telemetrie Ihrer Roboterflotte.
  </Card>

  <Card title="MCAP & ROS" icon="robot" href="/docs/visualization/mcap-ros/overview">
    Unterstützte Formate und wie Sie Roboteraufnahmen für den Upload vorbereiten.
  </Card>

  <Card title="Annotationswerkzeuge" icon="pen-to-square" href="/docs/annotation/guides/annotation-tools">
    Übersicht aller für Robotikdaten verfügbaren Annotationswerkzeuge.
  </Card>

  <Card title="Best Practices für Aufnahmen" icon="circle-check" href="/docs/visualization/guides/recording-best-practices">
    Tipps für die Aufnahme von Roboterdaten, die gut mit Avala funktionieren.
  </Card>
</CardGroup>