Цикл
Каждый цикл начинается с того, что ваш флот делает в реальном мире, и заканчивается релизом, на котором можно обучать модель.1
Наблюдение
Ваши роботы работают. Прогоны, вмешательства и сбои поступают в Avala как записи и события флота. См. Приём сбоев.
2
Диагностика
Avala сегментирует прогоны, группирует сбои в таксономию сбоев и составляет отчёт о пробелах.
3
Оценка
Avala оценивает текущую версию вашей модели на отложенных реальных оценочных сценах. См. Оценка.
4
Сбор
Avala собирает данные, которые требует отчёт о пробелах. Каждый пакет нацелен на конкретные ячейки покрытия и учитывает только принятые часы.
5
Обучение
Вы обучаете модель на релизе. Обучение остаётся на вашей стороне.
6
Валидация
Avala повторно оценивает новую версию модели на тех же отложенных сценах и сообщает об изменении по каждому режиму сбоя.
7
Релиз
Avala публикует версионированный релиз набора данных с урегулированными правами, вместе с метаданными последовательностей и экспортами для обучения.
8
Наблюдение
Новая модель возвращается в ваш флот. Её прогоны запускают следующий цикл.
Кто что делает
Вы решаете, чему учится модель и когда она выходит. Avala предоставляет доказательства и данные для каждого решения.
Как проходит работа
Каждый проект проходит одни и те же пять шагов. Каждый шаг даёт артефакт, который вы можете проверить.- Сбой. Вы отправляете прогоны, в которых модель дала сбой или нуждалась в помощи. Avala читает их как записи и события флота.
- Отчёт о пробелах. Avala группирует сбои по режимам сбоя и называет ячейки покрытия, которых нет или которые заполнены слабо.
- Бриф. Avala превращает отчёт о пробелах в бриф на сбор данных. В брифе перечислены целевые ячейки покрытия, лимиты концентрации, критерии приёмки и оценочная когорта. Вы его утверждаете.
- Пакет. Avala собирает и рецензирует пакет. Каждая поставка включает отчёт о покрытии и метаданные по каждой последовательности.
- Повторная оценка. Avala оценивает следующую версию вашей модели на отложенных сценах. Отчёт о возможностях показывает, что изменилось, и задаёт следующее распределение.