Évaluation
Testez votre modèle dans les lieux où il va travailler.
Avala évalue votre modèle en privé, sur des scènes réservées issues de vrais logements et lieux de travail qui correspondent à votre déploiement. Le contrôle des fuites tient ces scènes à l'écart de l'entraînement. Des personnes auditent chaque note, et chaque échec lance la prochaine série de données.
Tenues à l’écart
Vos scènes d'évaluation restent privées et hors de l'entraînement.
Adaptées à votre déploiement
Nous captons les scènes d'évaluation dans de vrais logements et lieux de travail, choisis pour correspondre à l'endroit où votre robot travaillera, selon le même standard de scène que les données d'entraînement.
Réservées à votre modèle
Votre cohorte est conçue pour votre modèle et notée en privé. Ses scènes, ainsi que les logements, objets et opérateurs qu'elles contiennent, sont exclus de toute version d'entraînement.
Contrôle des fuites
Chaque séquence porte des groupes de fuite par lieu, objet, mécanisme, opérateur et famille d'environnement. Avant la notation, Avala compare vos versions d'entraînement à la cohorte versionnée par groupe de fuite et empreinte vidéo, et consigne le résultat dans le rapport.
Notation
Un modèle pré-note. Des personnes auditent.
Pré-notation vision-langage
Un modèle vision-langage note chaque séquence au regard des sous-tâches et des critères de réussite de la tâche.
Audit humain
Des évaluateurs formés auditent les notes. En cas de désaccord, le consensus tranche.
Accord inter-évaluateurs
Chaque rapport indique à quelle fréquence les évaluateurs étaient d’accord, pour que vous voyiez la solidité de chaque note.
Une séquence avec un défaut de capteur ou un étalonnage manquant est marquée comme invalide et exclue des métriques. Elle ne compte jamais comme un échec du modèle.
Le rapport
Ce que mesure chaque rapport d’évaluation.
Probabilité de réussite
La part des séquences qui accomplissent la tâche.
Progression partielle
Jusqu’où une séquence non réussie est allée dans les sous-tâches.
Temps jusqu’à la réussite
La durée des séquences réussies.
Débit relatif à l’humain
La vitesse d’exécution comparée à celle de personnes expertes effectuant la même tâche.
Taux d’intervention
La fréquence à laquelle une personne a dû intervenir.
Répartition des modes d’échec
Les échecs survenus, regroupés selon la taxonomie des échecs.
Taux de rattrapage
La fréquence à laquelle le modèle s’est rattrapé de sa propre erreur.
Intervalles de confiance
Chaque métrique est assortie d’un intervalle, pour comparer équitablement deux versions du modèle.
Après le rapport
Chaque échec lance la prochaine série de données.
Une séquence en échec marque le début du travail. Chacune suit les mêmes quatre étapes.
Rapport d'écarts
Les échecs sont regroupés par mode de défaillance et par conditions communes, si bien que le rapport indique où le modèle cède.
Brief de collecte
Chaque écart devient un brief : les workflows, les environnements et les variations à capter ensuite.
Données ciblées
Avala collecte et annote les données que demande le brief, selon le même standard de couverture et les mêmes contrôles de fuite.
Réévaluation
Vous entraînez la version suivante. Avala la note sur la même cohorte réservée, pour que vous voyiez si l'écart s'est refermé.
Chaque séquence notée porte une étiquette de résultat : ce qui s'est passé, jusqu'où elle est allée, si elle relève de l'entraînement ou de l'évaluation réservée, et ses groupes de fuite. Lisez et filtrez ces étiquettes via l'API, les SDK Python et TypeScript et MCP.
Comparer
Évaluez deux versions sur la même cohorte.
Exécutez le modèle actuel et le candidat sur la même cohorte tenue à l’écart. Le rapport les présente côte à côte, métrique par métrique et mode d’échec par mode d’échec, afin que la décision de livrer repose sur des preuves que vous pouvez examiner.
Commencer
Configurez votre première cohorte d’évaluation.
Indiquez-nous les tâches de votre modèle et où il fonctionnera. Nous proposons une cohorte tenue à l’écart et les métriques à inclure dans le rapport.