Skip to main content
Avala измеряет вашу модель на реальных сценах, которых никогда не касаются ваши обучающие данные. Одни и те же сцены оценивают каждую версию модели, поэтому версии можно сравнивать напрямую.

​
Отложенные оценочные сцены

Оценочная когорта представляет собой фиксированный набор реальных сцен и задач. Каждая когорта нацелена на конкретные ячейки покрытия и режимы сбоя.
  • Никогда не выпускаются для обучения. Последовательности в когорте несут evaluation_membership: "held_out_eval" в своей метке результата. Они никогда не попадают в релиз для обучения.
  • Разделены по группам утечки. Ни одно место, набор объектов, экземпляр механизма, оператор или семейство окружений из когорты не встречается ни в одном релизе для обучения. См. группы утечки.
  • Проверены на загрязнение. Перед каждым релизом Avala снимает отпечатки релиза и сверяет его с каждой активной когортой. Проверки на загрязнение версионируются. Каждый отчёт указывает версию проверки и версию когорты, на которой она выполнялась.
  • Версионированы. Когорта меняется только с выходом новой версии. Отчёты всегда указывают версию когорты, поэтому числа остаются сопоставимыми.

​
Оценивание

Каждый оценочный запуск оценивается в два этапа.
  1. Предварительная оценка VLM. Визуально-языковая модель оценивает каждую последовательность и каждую подзадачу по рубрике задачи. Она предлагает outcome, subtasks с их границами, а также mistake_type и failure_stage из таксономии сбоев. Предварительная оценка сохраняется с source: "model" и значением confidence.
  2. Аудит человеком. Обученные рецензенты проверяют предварительные оценки. Они проверяют каждую спорную последовательность и случайную выборку остальных и исправляют метки. Исправленная метка становится новой версией с source: "human". Более ранние версии остаются в истории метки.
Оценивание является услугой, которую выполняет Avala. Avala сообщает согласованность оценщиков для каждого запуска. Отчёт приводит согласованность между предварительной оценкой VLM и аудитом, а также согласованность между рецензентами-людьми на выборке с двойной оценкой. Метрика публикуется, только когда согласованность достигает порога, заданного в брифе.

​
Метрики

Каждая метрика приводится в целом и по каждой ячейке покрытия. Ячейки, в которых слишком мало последовательностей для устойчивого интервала, отмечены.

​
Отчёт о возможностях

Avala поставляет отчёт о возможностях после каждой оценки в рамках программы. Он отвечает на один вопрос: что умеет эта версия модели и что изменилось? Отчёт связывает каждое число с его последовательностями. Любой пример можно открыть в Mission Control.

​
Что предоставляете вы

Вы предоставляете версию модели для оценки. Бриф определяет, где и как проходит каждый оценочный запуск. Оценочные прогоны попадают в Avala тем же путём, что и сбои. См. Приём сбоев. Если вы уже проводите оценки с помощью Inspect Robots, инструмента оценки с открытым исходным кодом, вы можете импортировать его логи. Каждое испытание размечает одну последовательность. См. раздел «Импорт логов оценки» на странице Приём сбоев. Проверенные метки хранятся как метки результата оценочных последовательностей, поэтому вы можете читать их сами. Эта команда выводит отложенные последовательности с результатом «сбой» или «прервано»:
API, SDK и MCP-сервер также умеют фильтровать по model_version, поэтому вы можете сравнивать версии политики. См. раздел «Чтение и запись меток результата» на странице Схема метаданных последовательности.