Оценка
Проверяйте модель там, где ей предстоит работать.
Avala оценивает вашу модель в закрытом режиме, на отложенных сценах из реальных домов и рабочих мест, похожих на место её работы. Контроль утечек не пускает эти сцены в обучение. Люди проверяют каждую оценку, и каждый сбой запускает следующий цикл сбора данных.
Отложенные данные
Ваши оценочные сцены остаются закрытыми и не попадают в обучение.
Под условия вашего внедрения
Мы снимаем оценочные сцены в реальных домах и на рабочих местах, подобранных под условия, где будет работать ваш робот, по тому же стандарту сцен, что и обучающие данные.
Только для вашей модели
Когорта собирается под вашу модель и оценивается в закрытом режиме. Её сцены, а также дома, предметы и операторы в них не попадают ни в один обучающий релиз.
Контроль утечек
Каждая последовательность несёт группы утечки по месту, предмету, механизму, оператору и семейству среды. Перед оценкой Avala сверяет ваши обучающие релизы с версионированной когортой по группе утечки и видеоотпечатку и фиксирует результат в отчёте.
Оценивание
Модель оценивает предварительно. Люди проверяют.
Предварительная визуально-языковая оценка
Визуально-языковая модель оценивает каждую последовательность по подзадачам и критериям успеха задачи.
Проверка людьми
Обученные проверяющие проверяют оценки. Если проверяющие расходятся во мнениях, решает консенсус.
Согласованность оценщиков
В каждом отчёте указано, как часто проверяющие были согласны, поэтому видно, насколько надёжна каждая оценка.
Последовательность со сбоем датчика или без калибровки помечается как недействительная и исключается из метрик. Она никогда не считается сбоем модели.
Отчёт
Что измеряет каждый отчёт об оценке.
Вероятность успеха
Доля последовательностей, в которых задача выполнена.
Частичный прогресс
Насколько далеко по подзадачам продвинулась неуспешная последовательность.
Время до успеха
Сколько времени занимают успешные последовательности.
Производительность относительно человека
Скорость выполнения задачи по сравнению с людьми-экспертами, выполняющими ту же задачу.
Частота вмешательств
Как часто человеку приходилось вмешиваться.
Распределение типов сбоев
Какие сбои произошли, сгруппированные по таксономии сбоев.
Частота восстановления
Как часто модель исправляла собственную ошибку.
Доверительные интервалы
Каждая метрика имеет интервал, поэтому две версии модели можно сравнивать честно.
После отчёта
Каждый сбой запускает следующий цикл сбора данных.
Работа начинается с неудачной последовательности. Каждая проходит одни и те же четыре шага.
Отчёт о пробелах
Сбои группируются по типу отказа и общим условиям, поэтому отчёт показывает, где модель ломается.
Задание на сбор
Каждый пробел превращается в задание: какие процессы, обстановки и вариации снимать дальше.
Целевые данные
Avala собирает и размечает данные, которые требует задание, по тому же стандарту покрытия и с теми же проверками на утечки.
Повторная оценка
Следующую версию обучаете вы. Avala оценивает её на той же отложенной когорте, чтобы было видно, закрылся ли пробел.
Каждая оценённая последовательность несёт метку исхода: что произошло, как далеко она продвинулась, относится ли она к обучению или к отложенной оценке, и её группы утечки. Читайте и фильтруйте метки через API, SDK для Python и TypeScript и MCP.
Сравнение
Оценивайте две версии на одной когорте.
Запустите текущую модель и кандидата на одной и той же отложенной когорте. Отчёт показывает их рядом, метрику за метрикой и тип сбоя за типом сбоя, поэтому решение о выпуске опирается на доказательства, которые можно проверить.
Начало
Настройте первую когорту для оценки.
Расскажите, какие задачи выполняет ваша модель и где она будет работать. Мы предложим отложенную когорту и метрики для отчёта.