> ## Documentation Index > Fetch the complete documentation index at: https://avala.ai/docs/llms.txt > Use this file to discover all available pages before exploring further. # Evaluation > Zurückgehaltene Evaluationsszenen aus der realen Welt, Bewertung mit geprüfter Übereinstimmung, Fähigkeitsmetriken und der Fähigkeitsbericht Avala misst Ihr Modell auf Szenen aus der realen Welt, die Ihre Trainingsdaten nie berühren. Dieselben Szenen bewerten jede Modellversion, sodass Sie Versionen direkt vergleichen können. ## Zurückgehaltene Evaluationsszenen Eine Evaluationskohorte ist ein fester Satz von Szenen und Aufgaben aus der realen Welt. Jede Kohorte zielt auf bestimmte [Abdeckungszellen](/docs/de/fleet-learning/coverage.md) und Fehlermodi. * **Nie für das Training veröffentlicht.** Sequenzen in einer Kohorte tragen `evaluation_membership: "held_out_eval"` in ihrem [Ergebnis-Label](/docs/de/fleet-learning/sequence-metadata.md). Sie erscheinen nie in einem Trainings-Release. * **Nach Leakage-Gruppe getrennt.** Kein Ort, kein Objektset, keine Mechanismuseinheit, kein Operator und keine Umgebungsfamilie einer Kohorte erscheint in einem Trainings-Release. Siehe [Leakage-Gruppen](/docs/de/fleet-learning/sequence-metadata.md). * **Auf Kontamination geprüft.** Vor jedem Release erstellt Avala Fingerprints des Release und prüft es gegen jede aktive Kohorte. Kontaminationsprüfungen sind versioniert. Jeder Bericht nennt die Version der Prüfung und die Version der Kohorte, gegen die sie lief. * **Versioniert.** Eine Kohorte ändert sich nur durch eine neue Version. Berichte nennen immer die Version der Kohorte, damit die Zahlen vergleichbar bleiben. ## Bewertung Jeder Evaluationsdurchlauf wird in zwei Stufen bewertet. 1. **VLM-Vorbewertung.** Ein Vision-Language-Modell bewertet jede Sequenz und Teilaufgabe anhand des Aufgabenrasters. Es schlägt ein `outcome`, `subtasks` mit ihren Grenzen sowie einen `mistake_type` und eine `failure_stage` aus der Fehlertaxonomie vor. Eine Vorbewertung wird mit `source: "model"` und einer `confidence` gespeichert. 2. **Menschliches Audit.** Geschulte Reviewer prüfen die Vorbewertungen. Sie auditieren jede strittige Sequenz und eine Zufallsstichprobe der übrigen, und sie korrigieren die Labels. Ein korrigiertes Label ist eine neue Version mit `source: "human"`. Die früheren Versionen bleiben in der Label-Historie. Die Bewertung ist ein Service, den Avala erbringt. Avala berichtet für jeden Durchlauf die Übereinstimmung zwischen Bewertenden. Der Bericht nennt die Übereinstimmung zwischen VLM-Vorbewertung und Audit sowie die Übereinstimmung zwischen menschlichen Reviewern auf einer doppelt bewerteten Stichprobe. Eine Metrik wird nur berichtet, wenn die Übereinstimmung den im Briefing festgelegten Schwellenwert erreicht. ## Metriken | Metrik | Definition | | - | - | | Erfolgswahrscheinlichkeit | Der Anteil der Sequenzen, die den Zielzustand erreichen, mit einem 95-%-Konfidenzintervall. | | Teilfortschritt | Der mittlere Anteil abgeschlossener Teilaufgaben pro Sequenz. | | Zeit bis zum Erfolg | Die mediane Zeit bis zum Erreichen des Zielzustands, über erfolgreiche Sequenzen. | | Durchsatz relativ zum Menschen | Erledigte Aufgaben pro Stunde, geteilt durch die menschliche Expertenreferenz für dieselbe Kohorte. | | Eingriffsrate | Menschliche Eingriffe pro Sequenz und pro Stunde autonomen Betriebs. | | Verteilung der Fehlermodi | Der Anteil der fehlgeschlagenen Sequenzen in jedem Fehlermodus der Taxonomie. | | Erholungsrate | Der Anteil der Sequenzen mit einem Fehler, in denen sich der Roboter erholt und die Aufgabe ohne Hilfe abschließt. | Jede Metrik wird insgesamt und pro Abdeckungszelle berichtet. Zellen mit zu wenigen Sequenzen für ein stabiles Intervall werden markiert. ## Der Fähigkeitsbericht Avala liefert nach jeder Evaluation einen Fähigkeitsbericht als Teil des Programms. Er beantwortet eine Frage: Was kann diese Modellversion, und was hat sich verändert? | Abschnitt | Inhalt | | - | - | | Umfang | Verglichene Modellversionen, Kohorten-IDs und -Versionen, Version der Kontaminationsprüfung, Daten der Durchläufe. | | Überblick | Jede Metrik für jede Modellversion, mit Konfidenzintervallen. | | Ergebnisse pro Zelle | Metriken pro Abdeckungszelle, mit markierten dünn besetzten Zellen. | | Fehlermodi | Die Verteilung der Fehlermodi pro Modellversion. Beispielsequenzen für jeden Modus. | | Erholung | Die Erholungsrate und die Fehler-und-Erholungs-Beispiele dahinter. | | Bewertungsqualität | Größe der Audit-Stichprobe und Übereinstimmung zwischen Bewertenden. | | Experimente | Jedes offene [Fähigkeitsexperiment](/docs/de/fleet-learning/capability-experiments.md), seine Hypothese und sein gemessenes Ergebnis. | | Nächste Zuteilung | Die Zellen und Fehlermodi, auf die das nächste Briefing zielt, und warum. | Der Bericht verknüpft jede Zahl mit ihren Sequenzen. Sie können jedes Beispiel in Mission Control öffnen. ## Was Sie bereitstellen Sie stellen die zu evaluierende Modellversion bereit. Das Briefing legt fest, wo und wie jeder Evaluationsdurchlauf stattfindet. Evaluations-Rollouts erreichen Avala auf demselben Weg wie Fehler. Siehe [Fehler-Ingest](/docs/de/fleet-learning/failure-ingestion.md). Wenn Sie Evaluationen bereits mit Inspect Robots durchführen, einem Open-Source-Evaluationswerkzeug, können Sie dessen Logs importieren. Jeder Versuch labelt eine Sequenz. Siehe [Evaluations-Logs importieren](/docs/de/fleet-learning/failure-ingestion.md). Die auditierten Labels werden als Ergebnis-Labels an den Evaluationssequenzen gespeichert, sodass Sie sie selbst lesen können. Dieser Befehl listet die fehlgeschlagenen und abgebrochenen zurückgehaltenen Sequenzen auf: ```bash theme={null} avala sequence-outcomes list your-org kitchen-eval --evaluation-membership held_out_eval --outcome failure,aborted ``` Die API, die SDKs und der MCP-Server können auch nach `model_version` filtern, sodass Sie Policy-Versionen vergleichen können. Siehe [Ergebnis-Labels lesen und schreiben](/docs/de/fleet-learning/sequence-metadata.md).