Evaluierung
Testen Sie Ihr Modell an den Orten, an denen es arbeiten wird.
Avala bewertet Ihr Modell privat, auf zurückgehaltenen Szenen aus realen Wohnungen und Arbeitsstätten, die Ihrem Einsatz entsprechen. Die Leakage-Kontrolle hält diese Szenen aus dem Training heraus. Menschen prüfen jede Bewertung, und jeder Fehler startet die nächste Datenrunde.
Zurückgehalten
Ihre Evaluierungsszenen bleiben privat und außerhalb des Trainings.
Auf Ihren Einsatz abgestimmt
Wir erfassen Evaluierungsszenen in realen Wohnungen und Arbeitsstätten, die passend zum künftigen Einsatzort Ihres Roboters ausgewählt werden, nach demselben Szenenstandard wie Trainingsdaten.
Exklusiv für Ihr Modell
Ihre Kohorte wird für Ihr Modell aufgebaut und privat bewertet. Ihre Szenen und die Wohnungen, Objekte und Bediener darin bleiben aus jedem Trainings-Release heraus.
Leakage-Kontrolle
Jede Sequenz trägt Leakage-Gruppen für Ort, Objekt, Mechanismus, Bediener und Umgebungsfamilie. Vor der Bewertung prüft Avala Ihre Trainings-Releases nach Leakage-Gruppe und Video-Fingerprint gegen die versionierte Kohorte und hält das Ergebnis im Bericht fest.
Bewertung
Ein Modell bewertet vor. Menschen prüfen.
Vision-Language-Vorbewertung
Ein Vision-Language-Modell bewertet jede Sequenz anhand der Teilaufgaben und Erfolgskriterien der Aufgabe.
Menschliches Audit
Geschulte Prüfer kontrollieren die Bewertungen. Wenn Prüfer uneinig sind, entscheidet der Konsens.
Übereinstimmung zwischen Prüfern
Jeder Bericht gibt an, wie oft die Prüfer übereinstimmten, damit Sie sehen, wie belastbar jede Bewertung ist.
Eine Sequenz mit Sensorfehler oder fehlender Kalibrierung wird als ungültig markiert und aus den Metriken ausgeschlossen. Sie zählt nie als Modellfehler.
Der Bericht
Was jeder Evaluierungsbericht misst.
Erfolgswahrscheinlichkeit
Der Anteil der Sequenzen, die die Aufgabe abschließen.
Teilfortschritt
Wie weit eine erfolglose Sequenz in den Teilaufgaben gekommen ist.
Zeit bis zum Erfolg
Wie lange erfolgreiche Sequenzen dauern.
Durchsatz im Vergleich zum Menschen
Die Geschwindigkeit bei der Aufgabe im Vergleich zu menschlichen Experten, die dieselbe Aufgabe ausführen.
Eingriffsrate
Wie oft ein Mensch eingreifen musste.
Verteilung der Fehlermodi
Welche Fehler auftraten, gruppiert nach der Fehlertaxonomie.
Korrekturrate
Wie oft sich das Modell von seinem eigenen Fehler erholt hat.
Konfidenzintervalle
Jede Metrik hat ein Intervall, damit sich zwei Modellversionen fair vergleichen lassen.
Nach dem Bericht
Jeder Fehler startet die nächste Datenrunde.
Eine fehlgeschlagene Sequenz ist der Punkt, an dem die Arbeit beginnt. Jede durchläuft dieselben vier Schritte.
Lückenbericht
Fehler werden nach Fehlermodus und gemeinsamen Bedingungen gruppiert, sodass der Bericht benennt, wo das Modell versagt.
Erfassungsbriefing
Jede Lücke wird zu einem Briefing: die Workflows, Umgebungen und Variationen, die als Nächstes erfasst werden.
Gezielte Daten
Avala erfasst und annotiert die Daten, die das Briefing verlangt, nach demselben Abdeckungsstandard und denselben Leakage-Prüfungen.
Erneute Evaluierung
Sie trainieren die nächste Version. Avala bewertet sie auf derselben zurückgehaltenen Kohorte, damit Sie sehen, ob sich die Lücke geschlossen hat.
Jede bewertete Sequenz trägt ein Ergebnislabel: was passiert ist, wie weit sie kam, ob sie zum Training oder zur zurückgehaltenen Evaluierung gehört, und ihre Leakage-Gruppen. Lesen und filtern Sie die Labels über die API, die Python- und TypeScript-SDKs und MCP.
Vergleich
Zwei Versionen auf derselben Kohorte bewerten.
Führen Sie das aktuelle Modell und den Kandidaten auf derselben zurückgehaltenen Kohorte aus. Der Bericht stellt beide nebeneinander, Metrik für Metrik und Fehlermodus für Fehlermodus, sodass die Entscheidung zur Auslieferung auf Nachweisen beruht, die Sie selbst prüfen können.
Loslegen
Richten Sie Ihre erste Evaluierungskohorte ein.
Nennen Sie uns die Aufgaben Ihres Modells und wo es arbeiten wird. Wir schlagen eine zurückgehaltene Kohorte und die zu berichtenden Metriken vor.