Skip to main content
Avala mesure votre modèle sur des scènes réelles que vos données d’entraînement ne touchent jamais. Les mêmes scènes notent chaque version du modèle, ce qui vous permet de comparer les versions directement.

​
Scènes d’évaluation mises de côté

Une cohorte d’évaluation est un ensemble fixe de scènes et de tâches réelles. Chaque cohorte cible des cellules de couverture et des modes de défaillance précis.
  • Jamais publiées pour l’entraînement. Les séquences d’une cohorte portent evaluation_membership: "held_out_eval" dans leur étiquette de résultat. Elles n’apparaissent jamais dans une release d’entraînement.
  • Séparées par groupe de fuite. Aucun lieu, ensemble d’objets, unité de mécanisme, opérateur ou famille d’environnement d’une cohorte n’apparaît dans une release d’entraînement. Consultez groupes de fuite.
  • Contrôlées contre la contamination. Avant chaque release, Avala calcule l’empreinte de la release et la compare à chaque cohorte active. Les contrôles de contamination sont versionnés. Chaque rapport nomme la version du contrôle et la version de la cohorte utilisées.
  • Versionnées. Une cohorte ne change que par une nouvelle version. Les rapports nomment toujours la version de la cohorte, ce qui garde les chiffres comparables.

​
Notation

Chaque exécution d’évaluation est notée en deux étapes.
  1. Pré-notation VLM. Un modèle vision-langage note chaque séquence et chaque sous-tâche selon la grille de la tâche. Il propose un outcome, des subtasks avec leurs bornes, ainsi qu’un mistake_type et un failure_stage tirés de la taxonomie des défaillances. Une pré-note est stockée avec source: "model" et une confidence.
  2. Audit humain. Des réviseurs formés vérifient les pré-notes. Ils auditent chaque séquence contestée et un échantillon aléatoire des autres, et ils corrigent les étiquettes. Une étiquette corrigée est une nouvelle version avec source: "human". Les versions précédentes restent dans l’historique de l’étiquette.
La notation est un service qu’Avala réalise. Avala rapporte l’accord inter-évaluateurs pour chaque exécution. Le rapport donne l’accord entre la pré-notation VLM et l’audit, et l’accord entre réviseurs humains sur un échantillon noté deux fois. Une métrique n’est rapportée que lorsque l’accord atteint le seuil fixé dans le brief.

​
Métriques

Chaque métrique est rapportée globalement et par cellule de couverture. Les cellules qui ont trop peu de séquences pour un intervalle stable sont signalées.

​
Le rapport de capacités

Avala livre un rapport de capacités après chaque évaluation, dans le cadre du programme. Il répond à une question : que peut faire cette version du modèle, et qu’est-ce qui a changé ? Le rapport relie chaque chiffre à ses séquences. Vous pouvez ouvrir n’importe quel exemple dans Mission Control.

​
Ce que vous fournissez

Vous fournissez la version du modèle à évaluer. Le brief fixe où et comment chaque exécution d’évaluation a lieu. Les rollouts d’évaluation arrivent dans Avala de la même façon que les défaillances. Consultez Ingestion des défaillances. Si vous exécutez déjà vos évaluations avec Inspect Robots, un outil d’évaluation open source, vous pouvez importer ses journaux. Chaque essai étiquette une séquence. Consultez la section Importer des journaux d’évaluation de la page Ingestion des défaillances. Les étiquettes auditées sont stockées comme étiquettes de résultat sur les séquences d’évaluation, ce qui vous permet de les lire vous-même. Cette commande liste les séquences mises de côté en échec ou interrompues :
L’API, les SDKs et le serveur MCP peuvent aussi filtrer par model_version, ce qui vous permet de comparer des versions de politique. Consultez la section Lire et écrire les étiquettes de résultat de la page Schéma des métadonnées de séquence.