> ## Documentation Index > Fetch the complete documentation index at: https://avala.ai/docs/llms.txt > Use this file to discover all available pages before exploring further. # Évaluation > Scènes d'évaluation réelles mises de côté, notation avec accord audité, métriques de capacité et rapport de capacités Avala mesure votre modèle sur des scènes réelles que vos données d'entraînement ne touchent jamais. Les mêmes scènes notent chaque version du modèle, ce qui vous permet de comparer les versions directement. ## Scènes d'évaluation mises de côté Une cohorte d'évaluation est un ensemble fixe de scènes et de tâches réelles. Chaque cohorte cible des [cellules de couverture](/docs/fr/fleet-learning/coverage.md) et des modes de défaillance précis. * **Jamais publiées pour l'entraînement.** Les séquences d'une cohorte portent `evaluation_membership: "held_out_eval"` dans leur [étiquette de résultat](/docs/fr/fleet-learning/sequence-metadata.md). Elles n'apparaissent jamais dans une release d'entraînement. * **Séparées par groupe de fuite.** Aucun lieu, ensemble d'objets, unité de mécanisme, opérateur ou famille d'environnement d'une cohorte n'apparaît dans une release d'entraînement. Consultez [groupes de fuite](/docs/fr/fleet-learning/sequence-metadata.md). * **Contrôlées contre la contamination.** Avant chaque release, Avala calcule l'empreinte de la release et la compare à chaque cohorte active. Les contrôles de contamination sont versionnés. Chaque rapport nomme la version du contrôle et la version de la cohorte utilisées. * **Versionnées.** Une cohorte ne change que par une nouvelle version. Les rapports nomment toujours la version de la cohorte, ce qui garde les chiffres comparables. ## Notation Chaque exécution d'évaluation est notée en deux étapes. 1. **Pré-notation VLM.** Un modèle vision-langage note chaque séquence et chaque sous-tâche selon la grille de la tâche. Il propose un `outcome`, des `subtasks` avec leurs bornes, ainsi qu'un `mistake_type` et un `failure_stage` tirés de la taxonomie des défaillances. Une pré-note est stockée avec `source: "model"` et une `confidence`. 2. **Audit humain.** Des réviseurs formés vérifient les pré-notes. Ils auditent chaque séquence contestée et un échantillon aléatoire des autres, et ils corrigent les étiquettes. Une étiquette corrigée est une nouvelle version avec `source: "human"`. Les versions précédentes restent dans l'historique de l'étiquette. La notation est un service qu'Avala réalise. Avala rapporte l'accord inter-évaluateurs pour chaque exécution. Le rapport donne l'accord entre la pré-notation VLM et l'audit, et l'accord entre réviseurs humains sur un échantillon noté deux fois. Une métrique n'est rapportée que lorsque l'accord atteint le seuil fixé dans le brief. ## Métriques | Métrique | Définition | | - | - | | Probabilité de réussite | La part des séquences qui atteignent l'état visé, avec un intervalle de confiance à 95 %. | | Progression partielle | La part moyenne de sous-tâches terminées par séquence. | | Temps jusqu'à la réussite | Le temps médian pour atteindre l'état visé, sur les séquences réussies. | | Débit relatif à l'humain | Tâches terminées par heure, divisées par la référence d'un expert humain pour la même cohorte. | | Taux d'intervention | Interventions humaines par séquence et par heure de fonctionnement autonome. | | Distribution des modes de défaillance | La part des séquences en échec dans chaque mode de défaillance de la taxonomie. | | Taux de récupération | La part des séquences avec une erreur où le robot se rattrape et termine la tâche sans aide. | Chaque métrique est rapportée globalement et par cellule de couverture. Les cellules qui ont trop peu de séquences pour un intervalle stable sont signalées. ## Le rapport de capacités Avala livre un rapport de capacités après chaque évaluation, dans le cadre du programme. Il répond à une question : que peut faire cette version du modèle, et qu'est-ce qui a changé ? | Section | Contenu | | - | - | | Périmètre | Versions du modèle comparées, identifiants et versions des cohortes, version du contrôle de contamination, dates des exécutions. | | Synthèse | Chaque métrique pour chaque version du modèle, avec intervalles de confiance. | | Résultats par cellule | Métriques par cellule de couverture, avec les cellules minces signalées. | | Modes de défaillance | La distribution des modes de défaillance par version du modèle. Des exemples de séquences pour chaque mode. | | Récupération | Le taux de récupération et les exemples de défaillance et récupération qui le fondent. | | Qualité de la notation | Taille de l'échantillon d'audit et accord inter-évaluateurs. | | Expériences | Chaque [expérience de capacité](/docs/fr/fleet-learning/capability-experiments.md) ouverte, son hypothèse et son résultat mesuré. | | Allocation suivante | Les cellules et les modes de défaillance que cible le prochain brief, et pourquoi. | Le rapport relie chaque chiffre à ses séquences. Vous pouvez ouvrir n'importe quel exemple dans Mission Control. ## Ce que vous fournissez Vous fournissez la version du modèle à évaluer. Le brief fixe où et comment chaque exécution d'évaluation a lieu. Les rollouts d'évaluation arrivent dans Avala de la même façon que les défaillances. Consultez [Ingestion des défaillances](/docs/fr/fleet-learning/failure-ingestion.md). Si vous exécutez déjà vos évaluations avec Inspect Robots, un outil d'évaluation open source, vous pouvez importer ses journaux. Chaque essai étiquette une séquence. Consultez la section Importer des journaux d'évaluation de la page [Ingestion des défaillances](/docs/fr/fleet-learning/failure-ingestion.md). Les étiquettes auditées sont stockées comme étiquettes de résultat sur les séquences d'évaluation, ce qui vous permet de les lire vous-même. Cette commande liste les séquences mises de côté en échec ou interrompues : ```bash theme={null} avala sequence-outcomes list your-org kitchen-eval --evaluation-membership held_out_eval --outcome failure,aborted ``` L'API, les SDKs et le serveur MCP peuvent aussi filtrer par `model_version`, ce qui vous permet de comparer des versions de politique. Consultez la section Lire et écrire les étiquettes de résultat de la page [Schéma des métadonnées de séquence](/docs/fr/fleet-learning/sequence-metadata.md).