Qualität und SLAs

Der Managed Labeling Service von Avala liefert produktionsreife Annotationen, gestützt auf einen strukturierten QA-Prozess, professionelle Domänenexperten und messbare Qualitätsmetriken. Diese Seite dokumentiert, was Sie erwarten können, wenn Sie die Belegschaft von Avala für Annotationen nutzen.

Qualitätsprozess

Jede Annotation durchläuft eine 3-stufige Qualitätssicherungspipeline, bevor sie Ihren Export erreicht.

Stufe 1: Automatisierte Prüfungen

Bevor ein menschlicher Reviewer das Ergebnis sieht, fangen automatisierte Validierungen strukturelle Fehler ab.

Prüfung	Was erkannt wird
Schema-Validierung	Fehlende erforderliche Attribute, ungültige Label-Werte, Koordinaten außerhalb des Bereichs
Geometrische Validierung	Bounding Boxes ohne Fläche, sich selbst schneidende Polygone, Quader außerhalb der Punktwolkengrenzen
Konsistenzprüfungen	Doppelte Objekt-IDs, unterbrochene Tracking-Verbindungen zwischen Frames, Label-/Attribut-Unstimmigkeiten
Abdeckungsprüfungen	Nicht annotierte Bereiche, die basierend auf der Projektontologie Labels haben sollten

Stufe 2: Menschliches Review

Ein dedizierter Reviewer — ein erfahrener Annotator mit tiefem Wissen über Ihre Ontologie — inspiziert jedes Ergebnis auf Genauigkeit, Vollständigkeit und Einhaltung Ihrer Labeling-Richtlinien. Reviewer prüfen auf:

Korrekte Objektklassifikation und Attributwerte
Eng anliegende Bounding Box / Polygon / Quader-Passform
Konsistentes Objekt-Tracking über Frames
Sonderfälle, die gemäß Ihren projektspezifischen Anweisungen behandelt werden

Stufe 3: Experten-Audit

Eine Zufallsstichprobe der geprüften Ergebnisse wird an Domänenexperten für ein abschließendes Audit eskaliert. Diese Stufe kalibriert die Reviewer-Genauigkeit und fängt systematische Probleme ab, bevor sie Ihre Trainingsdaten beeinflussen. Audit-Ergebnisse fließen in die Annotatorenschulung und Richtlinienverfeinerungen zurück und schaffen eine kontinuierliche Verbesserungsschleife.

Genauigkeitsziele

Metrik	Ziel
Erstdurchlauf-Erfolgsquote	> 99 % der Annotationen ohne Nacharbeit akzeptiert
Klassifikationsgenauigkeit	> 99 % korrekte Label-Zuweisung
Lokalisierungsgenauigkeit	Bounding Box IoU > 0,90 mit Ground Truth
Tracking-Konsistenz	> 99 % korrekte Objekt-ID-Kontinuität über Frames
Attributgenauigkeit	> 99 % korrekte Attributwerte (Verdeckung, Abschneidung usw.)

Genauigkeitsziele gelten für den Managed Labeling Service von Avala. Die Annotationsgenauigkeit bei Selbstbedienung hängt von den Annotatoren und der QA-Konfiguration Ihres Teams ab.

Bearbeitungszeiten

Die Bearbeitungszeit hängt von der Annotationskomplexität und dem Volumen ab. Die folgende Tabelle zeigt typische Zeitrahmen für gängige Annotationstypen bei Nutzung des Managed Labeling Service von Avala.

Annotationstyp	Typische Bearbeitungszeit	Hinweise
2D-Bounding Boxes (Bilder)	1-3 Werktage	Standard-Objekterkennung
2D-Polygone (Bilder)	2-5 Werktage	Instanzsegmentierung
Semantische Segmentierung (Bilder)	3-7 Werktage	Pixelgenaue Klassifikation
3D-Quader (LiDAR)	3-7 Werktage	Punktwolken-Annotation mit BEV + Perspektivansichten
Multi-Sensor 3D (LiDAR + Kamera)	5-10 Werktage	Synchronisierte Sensor-Annotation
Video-Objekt-Tracking	3-7 Werktage	Pro Sequenz, abhängig von Frame-Anzahl und Objektdichte
Keypoint-Annotation	2-5 Werktage	Posenschätzung und Landmarken-Labeling

Die Bearbeitungszeit beginnt, wenn die Daten hochgeladen und die Projektontologie finalisiert ist. Pilotdatensätze (< 1.000 Elemente) können oft schneller abgeschlossen werden.

Benötigen Sie ein bestimmtes SLA für Ihr Projekt? Kontaktieren Sie sales@avala.ai, um garantierte Bearbeitungszusagen zu besprechen.

Belegschaftsqualität

Domänenspezialisierung

Die Annotatoren von Avala sind professionelle Fachkräfte, keine Gelegenheitsarbeiter. Jeder Annotator spezialisiert sich für 12 Monate oder länger auf eine bestimmte Domäne (autonomes Fahren, Robotik, medizinische Bildgebung).

Eigenschaft	Details
Spezialisierungszeitraum	12+ Monate in einer einzelnen Kundendomäne
Schulung	Projektspezifisches Onboarding mit Ihrer Ontologie, Sonderfall-Bibliothek und Labeling-Richtlinien
Bindungsrate	> 90 % jährliche Bindung — Annotatoren bauen tiefes institutionelles Wissen auf
Teamgröße	15.000+ Annotatoren über alle Domänen

Warum Bindung wichtig ist

Hohe Annotatoren-Bindung wirkt sich direkt auf die Datenqualität aus:

Institutionelles Wissen — Annotatoren lernen Ihre Sonderfälle, Namenskonventionen und domänenspezifischen Nuancen über die Zeit. Ein neuer Annotator braucht Wochen, um dasselbe Niveau zu erreichen.
Weniger Nacharbeitszyklen — Erfahrene Annotatoren produzieren beim ersten Durchlauf weniger Fehler, was den Review-Aufwand und die Bearbeitungszeit reduziert.
Ontologie-Evolution — Wenn Sie Ihre Label-Taxonomie aktualisieren, passen sich erfahrene Annotatoren schneller an, weil sie die Gründe hinter den Änderungen verstehen.

Qualitätsmetriken über die API

Qualitätsmetriken für Ihre Projekte sind programmatisch über die API und SDKs verfügbar.

Metriken auf Projektebene

from avala import Client

client = Client()

# Projektdetails einschließlich Qualitätsmetriken abrufen
projects = client.projects.list()

for project in projects:
    print(f"Projekt: {project.name}")
    print(f"  Abgeschlossene Aufgaben: {project.task_count}")

Qualitätsdaten auf Aufgabenebene

# Aufgaben mit ihrem Review-Status auflisten
tasks = client.tasks.list(project="project_uid")

for task in tasks:
    print(f"Aufgabe: {task.uid}")
    print(f"  Status: {task.status}")

Export mit Qualitätsmetadaten

Wenn Sie einen Export erstellen, enthält jedes Annotationsergebnis seinen QA-Review-Status, sodass Sie in Ihrer Trainingspipeline nach Qualitätsniveau filtern können.

export = client.exports.create(
    name="Training data - QA passed only",
    format="avala-json-external",
    projects=["project_uid"]
)

Qualitätskontroll-Konfiguration

Für Selbstbedienungs-Annotation bietet Avala konfigurierbare QA-Workflows.

Funktion	Beschreibung
Mehrstufiges Review	Annotationen durch eine oder mehrere Prüfstufen vor der Akzeptanz leiten
Konsens-Workflows	Erfordern, dass mehrere Annotatoren sich auf dasselbe Label einigen
Akzeptanzkriterien	Mindestschwellen für die Aufgabenakzeptanz festlegen
Issue-Tracking	Annotationsprobleme mit Kommentaren und Lösungsstatus verfolgen
Inter-Annotator-Agreement	Konsistenz zwischen Annotatoren bei denselben Daten messen

Siehe Qualitätskontrolle für Einrichtungsanweisungen.

Nächste Schritte

Qualitätskontroll-Guide

Mehrstufiges Review, Konsens und Akzeptanz-Workflows für Ihre Projekte konfigurieren.

Rückverfolgbarkeit

Jede Annotation zu ihren Quelldaten, dem Annotator und dem QA-Review zurückverfolgen.

Warum Avala

Sehen Sie, was Avala von Scale AI, Labelbox und Label Studio unterscheidet.

Vertrieb kontaktieren

Besprechen Sie Managed Labeling, individuelle SLAs und Enterprise-Deployment.

Erste Schritte

Plattform

Anwendungsfälle

Qualitätsprozess

Stufe 1: Automatisierte Prüfungen

Stufe 2: Menschliches Review

Stufe 3: Experten-Audit

Genauigkeitsziele

Bearbeitungszeiten

Belegschaftsqualität

Domänenspezialisierung

Warum Bindung wichtig ist

Qualitätsmetriken über die API

Metriken auf Projektebene

Qualitätsdaten auf Aufgabenebene

Export mit Qualitätsmetadaten

Qualitätskontroll-Konfiguration

Nächste Schritte

​Qualitätsprozess

​Stufe 1: Automatisierte Prüfungen

​Stufe 2: Menschliches Review

​Stufe 3: Experten-Audit

​Genauigkeitsziele

​Bearbeitungszeiten

​Belegschaftsqualität

​Domänenspezialisierung

​Warum Bindung wichtig ist

​Qualitätsmetriken über die API

​Metriken auf Projektebene

​Qualitätsdaten auf Aufgabenebene

​Export mit Qualitätsmetadaten

​Qualitätskontroll-Konfiguration

​Nächste Schritte

Qualitätsprozess

Stufe 1: Automatisierte Prüfungen

Stufe 2: Menschliches Review

Stufe 3: Experten-Audit

Genauigkeitsziele

Bearbeitungszeiten

Belegschaftsqualität

Domänenspezialisierung

Warum Bindung wichtig ist

Qualitätsmetriken über die API

Metriken auf Projektebene

Qualitätsdaten auf Aufgabenebene

Export mit Qualitätsmetadaten

Qualitätskontroll-Konfiguration

Nächste Schritte