Skip to main content
Avala misst Ihr Modell auf Szenen aus der realen Welt, die Ihre Trainingsdaten nie berühren. Dieselben Szenen bewerten jede Modellversion, sodass Sie Versionen direkt vergleichen können.

​
Zurückgehaltene Evaluationsszenen

Eine Evaluationskohorte ist ein fester Satz von Szenen und Aufgaben aus der realen Welt. Jede Kohorte zielt auf bestimmte Abdeckungszellen und Fehlermodi.
  • Nie für das Training veröffentlicht. Sequenzen in einer Kohorte tragen evaluation_membership: "held_out_eval" in ihrem Ergebnis-Label. Sie erscheinen nie in einem Trainings-Release.
  • Nach Leakage-Gruppe getrennt. Kein Ort, kein Objektset, keine Mechanismuseinheit, kein Operator und keine Umgebungsfamilie einer Kohorte erscheint in einem Trainings-Release. Siehe Leakage-Gruppen.
  • Auf Kontamination geprüft. Vor jedem Release erstellt Avala Fingerprints des Release und prüft es gegen jede aktive Kohorte. Kontaminationsprüfungen sind versioniert. Jeder Bericht nennt die Version der Prüfung und die Version der Kohorte, gegen die sie lief.
  • Versioniert. Eine Kohorte ändert sich nur durch eine neue Version. Berichte nennen immer die Version der Kohorte, damit die Zahlen vergleichbar bleiben.

​
Bewertung

Jeder Evaluationsdurchlauf wird in zwei Stufen bewertet.
  1. VLM-Vorbewertung. Ein Vision-Language-Modell bewertet jede Sequenz und Teilaufgabe anhand des Aufgabenrasters. Es schlägt ein outcome, subtasks mit ihren Grenzen sowie einen mistake_type und eine failure_stage aus der Fehlertaxonomie vor. Eine Vorbewertung wird mit source: "model" und einer confidence gespeichert.
  2. Menschliches Audit. Geschulte Reviewer prüfen die Vorbewertungen. Sie auditieren jede strittige Sequenz und eine Zufallsstichprobe der übrigen, und sie korrigieren die Labels. Ein korrigiertes Label ist eine neue Version mit source: "human". Die früheren Versionen bleiben in der Label-Historie.
Die Bewertung ist ein Service, den Avala erbringt. Avala berichtet für jeden Durchlauf die Übereinstimmung zwischen Bewertenden. Der Bericht nennt die Übereinstimmung zwischen VLM-Vorbewertung und Audit sowie die Übereinstimmung zwischen menschlichen Reviewern auf einer doppelt bewerteten Stichprobe. Eine Metrik wird nur berichtet, wenn die Übereinstimmung den im Briefing festgelegten Schwellenwert erreicht.

​
Metriken

Jede Metrik wird insgesamt und pro Abdeckungszelle berichtet. Zellen mit zu wenigen Sequenzen für ein stabiles Intervall werden markiert.

​
Der Fähigkeitsbericht

Avala liefert nach jeder Evaluation einen Fähigkeitsbericht als Teil des Programms. Er beantwortet eine Frage: Was kann diese Modellversion, und was hat sich verändert? Der Bericht verknüpft jede Zahl mit ihren Sequenzen. Sie können jedes Beispiel in Mission Control öffnen.

​
Was Sie bereitstellen

Sie stellen die zu evaluierende Modellversion bereit. Das Briefing legt fest, wo und wie jeder Evaluationsdurchlauf stattfindet. Evaluations-Rollouts erreichen Avala auf demselben Weg wie Fehler. Siehe Fehler-Ingest. Wenn Sie Evaluationen bereits mit Inspect Robots durchführen, einem Open-Source-Evaluationswerkzeug, können Sie dessen Logs importieren. Jeder Versuch labelt eine Sequenz. Siehe Evaluations-Logs importieren. Die auditierten Labels werden als Ergebnis-Labels an den Evaluationssequenzen gespeichert, sodass Sie sie selbst lesen können. Dieser Befehl listet die fehlgeschlagenen und abgebrochenen zurückgehaltenen Sequenzen auf:
Die API, die SDKs und der MCP-Server können auch nach model_version filtern, sodass Sie Policy-Versionen vergleichen können. Siehe Ergebnis-Labels lesen und schreiben.