Evaluación
Pruebe su modelo en los lugares donde va a trabajar.
Avala evalúa su modelo en privado, con escenas reservadas de hogares y lugares de trabajo reales que coinciden con su despliegue. El control de filtraciones mantiene esas escenas fuera del entrenamiento. Personas auditan cada puntuación, y cada fallo inicia la siguiente ronda de datos.
Reservadas
Sus escenas de evaluación siguen siendo privadas y fuera del entrenamiento.
Ajustadas a su despliegue
Capturamos escenas de evaluación en hogares y lugares de trabajo reales, elegidos para coincidir con el lugar donde trabajará su robot, con el mismo estándar de escena que los datos de entrenamiento.
Privadas para su modelo
Su cohorte se construye para su modelo y se puntúa en privado. Sus escenas, y los hogares, objetos y operadores que aparecen en ellas, quedan fuera de toda versión de entrenamiento.
Control de filtraciones
Cada secuencia lleva grupos de filtración por ubicación, objeto, mecanismo, operador y familia de entorno. Antes de puntuar, Avala compara sus versiones de entrenamiento con la cohorte versionada por grupo de filtración y huella de video, y registra el resultado en el informe.
Puntuación
Un modelo prepuntúa. Las personas auditan.
Prepuntuación de visión y lenguaje
Un modelo de visión y lenguaje puntúa cada secuencia según las subtareas y los criterios de éxito de la tarea.
Auditoría humana
Revisores formados auditan las puntuaciones. Cuando los revisores discrepan, decide el consenso.
Concordancia entre evaluadores
Cada informe indica con qué frecuencia coincidieron los revisores, para que vea la solidez de cada puntuación.
Una secuencia con un fallo de sensor o sin calibración se marca como no válida y se excluye de las métricas. Nunca cuenta como un fallo del modelo.
El informe
Lo que mide cada informe de evaluación.
Probabilidad de éxito
La proporción de secuencias que completan la tarea.
Progreso parcial
Hasta qué punto de las subtareas llegó una secuencia sin éxito.
Tiempo hasta el éxito
Cuánto tardan las secuencias con éxito.
Rendimiento relativo al humano
La velocidad en la tarea comparada con personas expertas que realizan la misma tarea.
Tasa de intervención
Con qué frecuencia una persona tuvo que intervenir.
Distribución de modos de fallo
Qué fallos ocurrieron, agrupados según la taxonomía de fallos.
Tasa de recuperación
Con qué frecuencia el modelo se recuperó de su propio error.
Intervalos de confianza
Cada métrica incluye un intervalo, para comparar dos versiones del modelo de forma justa.
Después del informe
Cada fallo inicia la siguiente ronda de datos.
Una secuencia fallida es donde empieza el trabajo. Cada una pasa por los mismos cuatro pasos.
Informe de brechas
Los fallos se agrupan por modo de fallo y por las condiciones que comparten, de modo que el informe señala dónde falla el modelo.
Brief de recolección
Cada brecha se convierte en un brief: los flujos de trabajo, entornos y variaciones que se deben capturar a continuación.
Datos dirigidos
Avala recolecta y etiqueta los datos que pide el brief, con el mismo estándar de cobertura y los mismos controles de filtración.
Reevaluación
Usted entrena la siguiente versión. Avala la puntúa con la misma cohorte reservada, para que vea si la brecha se cerró.
Cada secuencia puntuada lleva una etiqueta de resultado: qué pasó, hasta dónde llegó, si pertenece al entrenamiento o a la evaluación reservada, y sus grupos de filtración. Lea y filtre las etiquetas mediante la API, los SDK de Python y TypeScript y MCP.
Comparar
Puntúe dos versiones en la misma cohorte.
Ejecute el modelo actual y el candidato en la misma cohorte reservada. El informe los presenta lado a lado, métrica por métrica y modo de fallo por modo de fallo, para que la decisión de publicar se base en evidencia que usted puede revisar.
Empezar
Configure su primera cohorte de evaluación.
Indíquenos las tareas que ejecuta su modelo y dónde trabajará. Proponemos una cohorte reservada y las métricas que se incluirán en el informe.