Эксперименты по возможностям

Эксперимент по возможностям фиксирует в письменном виде один оборот цикла обучения на опыте флота. Он начинается со сбоя, который ваша модель показывает в конкретной версии. Он формулирует гипотезу о том, какие данные исправят сбой. Он заканчивается измеренным результатом и решением о следующем распределении. Avala открывает эксперимент по возможностям для каждого условия сбоя в отчёте о пробелах. Avala поддерживает запись в актуальном состоянии на этапах сбора, релиза и повторной оценки. Вы получаете её вместе с каждым отчётом о возможностях.

Поля

Поле	Что содержит
`model_version`	Версия модели, которая показала сбой. Этот идентификатор предоставляете вы.
`failure_condition`	Сбой и условия, в которых он проявляется, из таксономии сбоев. `mistake_type` и `failure_stage` используют те же теги, что и метки результата последовательностей со сбоем.
`hypothesis`	Проверяемое утверждение: какие данные должны изменить какую метрику и в каком направлении.
`coverage_cells`	Ячейки покрытия, на которые нацелен эксперимент.
`capture_campaign`	Кампания сбора, которая собирает данные.
`dataset_release`	Версионированный релиз набора данных с новыми последовательностями.
`evaluation_cohort`	Отложенные оценочные сцены, на которых измеряется результат. Их последовательности несут `evaluation_membership: "held_out_eval"`.
`outcome`	Измеренный результат на оценочной когорте для каждой версии модели, с доверительными интервалами.
`next_allocation`	Что собирает следующий цикл и почему.

Пример записи

{
  "experiment_id": "cx_dishwasher_rack_regrasp",
  "status": "validating",
  "model_version": "your-policy@2026-09-20",
  "failure_condition": {
    "mistake_type": "slip_during_place",
    "failure_stage": "place",
    "taxonomy_version": "3",
    "conditions": ["lower_rack_pulled_out", "wet_ceramic", "rack_obstacle_present"]
  },
  "hypothesis": "Adding expert sequences with slip and recovery on lower dishwasher racks raises success on the rack-loading cohort and lowers the intervention rate.",
  "coverage_cells": [
    {
      "environment": "kitchen",
      "mechanism": "dishwasher_pull_rack",
      "material": "ceramic_wet",
      "interaction_primitive": "place",
      "failure_mode": "regrasp_after_slip",
      "embodiment": "human_egocentric"
    }
  ],
  "capture_campaign": { "project_uid": "<project-uid>" },
  "dataset_release": { "dataset": "your-org/kitchen-manipulation", "release": "r4" },
  "evaluation_cohort": { "cohort_id": "eval_kitchen_racks", "version": "2" },
  "outcome": null,
  "next_allocation": null
}

outcome и next_allocation остаются пустыми, пока Avala не оценит следующую версию модели.

Как запись связана с существующими объектами

Эксперимент по возможностям хранит ссылки. Каждое поле указывает на объект, который вы уже можете открыть в Mission Control, через API, SDK и MCP-сервер.

Поле эксперимента	Существующий объект	Где его прочитать
`failure_condition`	Записи флота и события флота, в которых виден сбой, и метки результата последовательностей со сбоем	`client.fleet.recordings.get(...)`, `client.fleet.events.list(recording_id=...)`, `client.sequence_outcomes.list(owner, slug, outcome=...)`, MCP `fleet_get_recording`, `fleet_list_events`, `list_sequence_outcomes`
`capture_campaign`	Проект, в котором идёт кампания сбора	`client.projects.get(uid)`, MCP `list_capture_campaigns`, `get_campaign_acceptance_summary`
`coverage_cells`	Покрытие приёмки в проекте кампании	MCP `get_campaign_acceptance_coverage`
`dataset_release`	Набор данных и его срезы	`client.datasets.get_by_slug(owner, slug)`, `client.slices.get(owner, slug)`, MCP `get_dataset`, `get_slice`
`evaluation_cohort`	Срез отложенных оценочных сцен, который не входит ни в один релиз для обучения	`client.slices.get(owner, slug)`, `client.sequence_outcomes.list(owner, slug, evaluation_membership="held_out_eval")`, MCP `get_slice`, `list_sequence_outcomes`

Линия сбоев и восстановления и каждая оценочная когорта поставляются как срезы. Их элементы можно получить через client.slices.list_items(owner, slug).

Жизненный цикл

Статус	Значение
`proposed`	Avala подготовила гипотезу и целевые ячейки покрытия по отчёту о пробелах.
`approved`	Вы утвердили бриф. Кампания сбора открыта.
`collecting`	Последовательности записываются, рецензируются и принимаются.
`released`	Релиз набора данных опубликован. Вы обучаете на нём модель.
`validating`	Avala оценивает новую версию модели на оценочной когорте.
`closed`	Результат записан, следующее распределение задано.

Закрытый эксперимент остаётся в записи. Следующий эксперимент по тому же условию сбоя ссылается на него, и вы можете проследить возможность через версии модели.

Начало работы

Обучение флота

Платформа

Сценарии использования

Эксперименты по возможностям

Поля

Пример записи

Как запись связана с существующими объектами

Жизненный цикл

​Поля

​Пример записи

​Как запись связана с существующими объектами

​Жизненный цикл

Поля

Пример записи

Как запись связана с существующими объектами

Жизненный цикл