> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Оценка

> Отложенные реальные оценочные сцены, оценивание с проверенной согласованностью, метрики возможностей и отчёт о возможностях

Avala измеряет вашу модель на реальных сценах, которых никогда не касаются ваши обучающие данные. Одни и те же сцены оценивают каждую версию модели, поэтому версии можно сравнивать напрямую.

## Отложенные оценочные сцены

Оценочная когорта представляет собой фиксированный набор реальных сцен и задач. Каждая когорта нацелена на конкретные [ячейки покрытия](/docs/ru/fleet-learning/coverage.md) и режимы сбоя.

* **Никогда не выпускаются для обучения.** Последовательности в когорте несут `evaluation_membership: "held_out_eval"` в своей [метке результата](/docs/ru/fleet-learning/sequence-metadata.md). Они никогда не попадают в релиз для обучения.
* **Разделены по группам утечки.** Ни одно место, набор объектов, экземпляр механизма, оператор или семейство окружений из когорты не встречается ни в одном релизе для обучения. См. [группы утечки](/docs/ru/fleet-learning/sequence-metadata.md).
* **Проверены на загрязнение.** Перед каждым релизом Avala снимает отпечатки релиза и сверяет его с каждой активной когортой. Проверки на загрязнение версионируются. Каждый отчёт указывает версию проверки и версию когорты, на которой она выполнялась.
* **Версионированы.** Когорта меняется только с выходом новой версии. Отчёты всегда указывают версию когорты, поэтому числа остаются сопоставимыми.

## Оценивание

Каждый оценочный запуск оценивается в два этапа.

1. **Предварительная оценка VLM.** Визуально-языковая модель оценивает каждую последовательность и каждую подзадачу по рубрике задачи. Она предлагает `outcome`, `subtasks` с их границами, а также `mistake_type` и `failure_stage` из таксономии сбоев. Предварительная оценка сохраняется с `source: "model"` и значением `confidence`.
2. **Аудит человеком.** Обученные рецензенты проверяют предварительные оценки. Они проверяют каждую спорную последовательность и случайную выборку остальных и исправляют метки. Исправленная метка становится новой версией с `source: "human"`. Более ранние версии остаются в истории метки.

Оценивание является услугой, которую выполняет Avala. Avala сообщает согласованность оценщиков для каждого запуска. Отчёт приводит согласованность между предварительной оценкой VLM и аудитом, а также согласованность между рецензентами-людьми на выборке с двойной оценкой. Метрика публикуется, только когда согласованность достигает порога, заданного в брифе.

## Метрики

| Метрика | Определение |
| - | - |
| Вероятность успеха | Доля последовательностей, достигших целевого состояния, с 95-процентным доверительным интервалом. |
| Частичный прогресс | Средняя доля выполненных подзадач на последовательность. |
| Время до успеха | Медианное время достижения целевого состояния по успешным последовательностям. |
| Производительность относительно человека | Число задач, выполненных за час, делённое на экспертный эталон человека для той же когорты. |
| Частота вмешательств | Вмешательства человека на последовательность и на час автономной работы. |
| Распределение режимов сбоя | Доля последовательностей со сбоем в каждом режиме сбоя таксономии. |
| Частота восстановления | Доля последовательностей с ошибкой, в которых робот восстанавливается и завершает задачу без помощи. |

Каждая метрика приводится в целом и по каждой ячейке покрытия. Ячейки, в которых слишком мало последовательностей для устойчивого интервала, отмечены.

## Отчёт о возможностях

Avala поставляет отчёт о возможностях после каждой оценки в рамках программы. Он отвечает на один вопрос: что умеет эта версия модели и что изменилось?

| Раздел | Содержание |
| - | - |
| Область | Сравниваемые версии модели, идентификаторы и версии когорт, версия проверки на загрязнение, даты запусков. |
| Основные итоги | Каждая метрика для каждой версии модели, с доверительными интервалами. |
| Результаты по ячейкам | Метрики по каждой ячейке покрытия, слабо заполненные ячейки отмечены. |
| Режимы сбоя | Распределение режимов сбоя для каждой версии модели. Примеры последовательностей для каждого режима. |
| Восстановление | Частота восстановления и примеры сбоев и восстановления, на которых она основана. |
| Качество оценивания | Размер выборки аудита и согласованность оценщиков. |
| Эксперименты | Каждый открытый [эксперимент по возможностям](/docs/ru/fleet-learning/capability-experiments.md), его гипотеза и измеренный результат. |
| Следующее распределение | Ячейки и режимы сбоя, на которые нацелен следующий бриф, и причины. |

Отчёт связывает каждое число с его последовательностями. Любой пример можно открыть в Mission Control.

## Что предоставляете вы

Вы предоставляете версию модели для оценки. Бриф определяет, где и как проходит каждый оценочный запуск. Оценочные прогоны попадают в Avala тем же путём, что и сбои. См. [Приём сбоев](/docs/ru/fleet-learning/failure-ingestion.md).

Если вы уже проводите оценки с помощью Inspect Robots, инструмента оценки с открытым исходным кодом, вы можете импортировать его логи. Каждое испытание размечает одну последовательность. См. раздел «Импорт логов оценки» на странице [Приём сбоев](/docs/ru/fleet-learning/failure-ingestion.md).

Проверенные метки хранятся как метки результата оценочных последовательностей, поэтому вы можете читать их сами. Эта команда выводит отложенные последовательности с результатом «сбой» или «прервано»:

```bash theme={null}
avala sequence-outcomes list your-org kitchen-eval --evaluation-membership held_out_eval --outcome failure,aborted
```

API, SDK и MCP-сервер также умеют фильтровать по `model_version`, поэтому вы можете сравнивать версии политики. См. раздел «Чтение и запись меток результата» на странице [Схема метаданных последовательности](/docs/ru/fleet-learning/sequence-metadata.md).