Skip to main content
Avala mide su modelo en escenas del mundo real que sus datos de entrenamiento nunca tocan. Las mismas escenas puntúan cada versión del modelo, así que usted puede comparar versiones directamente.

​
Escenas de evaluación reservadas

Una cohorte de evaluación es un conjunto fijo de escenas y tareas del mundo real. Cada cohorte apunta a celdas de cobertura y modos de fallo concretos.
  • Nunca se publican para entrenamiento. Las secuencias de una cohorte llevan evaluation_membership: "held_out_eval" en su etiqueta de resultado. Nunca aparecen en una release de entrenamiento.
  • Separadas por grupo de fuga. Ninguna ubicación, conjunto de objetos, unidad de mecanismo, operador ni familia de entorno de una cohorte aparece en ninguna release de entrenamiento. Consulte grupos de fuga.
  • Verificadas contra contaminación. Antes de cada release, Avala genera la huella digital de la release y la compara con cada cohorte activa. Las verificaciones de contaminación están versionadas. Cada informe nombra la versión de la verificación y la versión de la cohorte contra la que se ejecutó.
  • Versionadas. Una cohorte cambia solo mediante una nueva versión. Los informes siempre nombran la versión de la cohorte, así que las cifras siguen siendo comparables.

​
Puntuación

Cada ejecución de evaluación se puntúa en dos etapas.
  1. Prepuntuación con VLM. Un modelo de visión y lenguaje puntúa cada secuencia y subtarea según la rúbrica de la tarea. Propone un outcome, subtasks con sus límites, y un mistake_type y un failure_stage de la taxonomía de fallos. Una prepuntuación se guarda con source: "model" y un confidence.
  2. Auditoría humana. Revisores capacitados verifican las prepuntuaciones. Auditan cada secuencia en disputa y una muestra aleatoria del resto, y corrigen las etiquetas. Una etiqueta corregida es una nueva versión con source: "human". Las versiones anteriores permanecen en el historial de la etiqueta.
La puntuación es un servicio que Avala realiza. Avala informa el acuerdo entre evaluadores de cada ejecución. El informe da el acuerdo entre la prepuntuación con VLM y la auditoría, y el acuerdo entre revisores humanos en una muestra puntuada dos veces. Una métrica se informa solo cuando el acuerdo alcanza el umbral fijado en el brief.

​
Métricas

Cada métrica se informa en total y por celda de cobertura. Las celdas con muy pocas secuencias para un intervalo estable se marcan.

​
El informe de capacidades

Avala entrega un informe de capacidades después de cada evaluación, como parte del programa. Responde una pregunta: ¿qué puede hacer esta versión del modelo y qué cambió? El informe vincula cada cifra con sus secuencias. Usted puede abrir cualquier ejemplo en Mission Control.

​
Qué aporta usted

Usted aporta la versión del modelo que se evalúa. El brief fija dónde y cómo se realiza cada ejecución de evaluación. Los rollouts de evaluación llegan a Avala de la misma forma que los fallos. Consulte Ingesta de fallos. Si ya ejecuta evaluaciones con Inspect Robots, una herramienta de evaluación de código abierto, puede importar sus logs. Cada prueba etiqueta una secuencia. Consulte la sección Importe logs de evaluación en Ingesta de fallos. Las etiquetas auditadas se guardan como etiquetas de resultado en las secuencias de evaluación, así que usted mismo puede leerlas. Esto lista las secuencias reservadas fallidas y abortadas:
La API, los SDKs y el servidor MCP también pueden filtrar por model_version, para que pueda comparar versiones de la política. Consulte la sección Leer y escribir etiquetas de resultado en Esquema de metadatos de secuencia.