> ## Documentation Index > Fetch the complete documentation index at: https://avala.ai/docs/llms.txt > Use this file to discover all available pages before exploring further. # Evaluación > Escenas de evaluación reservadas del mundo real, puntuación con acuerdo auditado, métricas de capacidad y el informe de capacidades Avala mide su modelo en escenas del mundo real que sus datos de entrenamiento nunca tocan. Las mismas escenas puntúan cada versión del modelo, así que usted puede comparar versiones directamente. ## Escenas de evaluación reservadas Una cohorte de evaluación es un conjunto fijo de escenas y tareas del mundo real. Cada cohorte apunta a [celdas de cobertura](/docs/es/fleet-learning/coverage.md) y modos de fallo concretos. * **Nunca se publican para entrenamiento.** Las secuencias de una cohorte llevan `evaluation_membership: "held_out_eval"` en su [etiqueta de resultado](/docs/es/fleet-learning/sequence-metadata.md). Nunca aparecen en una release de entrenamiento. * **Separadas por grupo de fuga.** Ninguna ubicación, conjunto de objetos, unidad de mecanismo, operador ni familia de entorno de una cohorte aparece en ninguna release de entrenamiento. Consulte [grupos de fuga](/docs/es/fleet-learning/sequence-metadata.md). * **Verificadas contra contaminación.** Antes de cada release, Avala genera la huella digital de la release y la compara con cada cohorte activa. Las verificaciones de contaminación están versionadas. Cada informe nombra la versión de la verificación y la versión de la cohorte contra la que se ejecutó. * **Versionadas.** Una cohorte cambia solo mediante una nueva versión. Los informes siempre nombran la versión de la cohorte, así que las cifras siguen siendo comparables. ## Puntuación Cada ejecución de evaluación se puntúa en dos etapas. 1. **Prepuntuación con VLM.** Un modelo de visión y lenguaje puntúa cada secuencia y subtarea según la rúbrica de la tarea. Propone un `outcome`, `subtasks` con sus límites, y un `mistake_type` y un `failure_stage` de la taxonomía de fallos. Una prepuntuación se guarda con `source: "model"` y un `confidence`. 2. **Auditoría humana.** Revisores capacitados verifican las prepuntuaciones. Auditan cada secuencia en disputa y una muestra aleatoria del resto, y corrigen las etiquetas. Una etiqueta corregida es una nueva versión con `source: "human"`. Las versiones anteriores permanecen en el historial de la etiqueta. La puntuación es un servicio que Avala realiza. Avala informa el acuerdo entre evaluadores de cada ejecución. El informe da el acuerdo entre la prepuntuación con VLM y la auditoría, y el acuerdo entre revisores humanos en una muestra puntuada dos veces. Una métrica se informa solo cuando el acuerdo alcanza el umbral fijado en el brief. ## Métricas | Métrica | Definición | | - | - | | Probabilidad de éxito | La proporción de secuencias que alcanzan el estado objetivo, con un intervalo de confianza del 95%. | | Progreso parcial | La proporción media de subtareas completadas por secuencia. | | Tiempo hasta el éxito | La mediana del tiempo para alcanzar el estado objetivo, sobre las secuencias exitosas. | | Rendimiento relativo al humano | Tareas completadas por hora, divididas por la referencia humana experta para la misma cohorte. | | Tasa de intervención | Intervenciones humanas por secuencia y por hora de operación autónoma. | | Distribución de modos de fallo | La proporción de secuencias fallidas en cada modo de fallo de la taxonomía. | | Tasa de recuperación | La proporción de secuencias con un error en las que el robot se recupera y completa la tarea sin ayuda. | Cada métrica se informa en total y por celda de cobertura. Las celdas con muy pocas secuencias para un intervalo estable se marcan. ## El informe de capacidades Avala entrega un informe de capacidades después de cada evaluación, como parte del programa. Responde una pregunta: ¿qué puede hacer esta versión del modelo y qué cambió? | Sección | Contenido | | - | - | | Alcance | Versiones del modelo comparadas, IDs y versiones de cohorte, versión de la verificación de contaminación, fechas de ejecución. | | Resumen | Cada métrica para cada versión del modelo, con intervalos de confianza. | | Resultados por celda | Métricas por celda de cobertura, con las celdas escasas marcadas. | | Modos de fallo | La distribución de modos de fallo por versión del modelo. Secuencias de ejemplo para cada modo. | | Recuperación | Tasa de recuperación y los ejemplos de fallo y recuperación que la respaldan. | | Calidad de la puntuación | Tamaño de la muestra de auditoría y acuerdo entre evaluadores. | | Experimentos | Cada [experimento de capacidad](/docs/es/fleet-learning/capability-experiments.md) abierto, su hipótesis y su resultado medido. | | Siguiente asignación | Las celdas y los modos de fallo a los que apunta el siguiente brief, y por qué. | El informe vincula cada cifra con sus secuencias. Usted puede abrir cualquier ejemplo en Mission Control. ## Qué aporta usted Usted aporta la versión del modelo que se evalúa. El brief fija dónde y cómo se realiza cada ejecución de evaluación. Los rollouts de evaluación llegan a Avala de la misma forma que los fallos. Consulte [Ingesta de fallos](/docs/es/fleet-learning/failure-ingestion.md). Si ya ejecuta evaluaciones con Inspect Robots, una herramienta de evaluación de código abierto, puede importar sus logs. Cada prueba etiqueta una secuencia. Consulte la sección Importe logs de evaluación en [Ingesta de fallos](/docs/es/fleet-learning/failure-ingestion.md). Las etiquetas auditadas se guardan como etiquetas de resultado en las secuencias de evaluación, así que usted mismo puede leerlas. Esto lista las secuencias reservadas fallidas y abortadas: ```bash theme={null} avala sequence-outcomes list your-org kitchen-eval --evaluation-membership held_out_eval --outcome failure,aborted ``` La API, los SDKs y el servidor MCP también pueden filtrar por `model_version`, para que pueda comparar versiones de la política. Consulte la sección Leer y escribir etiquetas de resultado en [Esquema de metadatos de secuencia](/docs/es/fleet-learning/sequence-metadata.md).