Expériences de capacité

Une expérience de capacité est un tour de la boucle de fleet learning, mis par écrit. Elle part d’une défaillance que votre modèle montre sur une version précise du modèle. Elle formule une hypothèse sur les données qui la corrigeront. Elle se termine par un résultat mesuré et une décision sur l’allocation suivante. Avala ouvre une expérience de capacité pour chaque condition de défaillance d’un rapport d’écarts. Avala tient l’enregistrement à jour pendant la collecte, la release et la réévaluation. Vous le recevez avec chaque rapport de capacités.

Champs

Champ	Contenu
`model_version`	La version du modèle qui a montré la défaillance. Vous fournissez cet identifiant.
`failure_condition`	La défaillance et les conditions où elle apparaît, tirées de la taxonomie des défaillances. `mistake_type` et `failure_stage` utilisent les mêmes libellés que les étiquettes de résultat des séquences en échec.
`hypothesis`	Un énoncé testable : quelles données doivent changer quelle métrique, et dans quel sens.
`coverage_cells`	Les cellules de couverture que l’expérience cible.
`capture_campaign`	La campagne de capture qui collecte les données.
`dataset_release`	La release de jeu de données versionnée qui contient les nouvelles séquences.
`evaluation_cohort`	Les scènes d’évaluation mises de côté qui servent à mesurer le résultat. Leurs séquences portent `evaluation_membership: "held_out_eval"`.
`outcome`	Le résultat mesuré sur la cohorte d’évaluation pour chaque version du modèle, avec intervalles de confiance.
`next_allocation`	Ce que le cycle suivant collecte, et pourquoi.

Exemple d’enregistrement

{
  "experiment_id": "cx_dishwasher_rack_regrasp",
  "status": "validating",
  "model_version": "your-policy@2026-09-20",
  "failure_condition": {
    "mistake_type": "slip_during_place",
    "failure_stage": "place",
    "taxonomy_version": "3",
    "conditions": ["lower_rack_pulled_out", "wet_ceramic", "rack_obstacle_present"]
  },
  "hypothesis": "Adding expert sequences with slip and recovery on lower dishwasher racks raises success on the rack-loading cohort and lowers the intervention rate.",
  "coverage_cells": [
    {
      "environment": "kitchen",
      "mechanism": "dishwasher_pull_rack",
      "material": "ceramic_wet",
      "interaction_primitive": "place",
      "failure_mode": "regrasp_after_slip",
      "embodiment": "human_egocentric"
    }
  ],
  "capture_campaign": { "project_uid": "<project-uid>" },
  "dataset_release": { "dataset": "your-org/kitchen-manipulation", "release": "r4" },
  "evaluation_cohort": { "cohort_id": "eval_kitchen_racks", "version": "2" },
  "outcome": null,
  "next_allocation": null
}

outcome et next_allocation restent vides jusqu’à ce qu’Avala réévalue la version suivante du modèle.

Liens entre l’enregistrement et les objets existants

Une expérience de capacité contient des références. Chaque champ pointe vers un objet que vous pouvez déjà ouvrir dans Mission Control, l’API, les SDKs et le serveur MCP.

Champ de l’expérience	Objet existant	Où le lire
`failure_condition`	Les enregistrements de flotte et les événements de flotte qui montrent la défaillance, et les étiquettes de résultat des séquences en échec	`client.fleet.recordings.get(...)`, `client.fleet.events.list(recording_id=...)`, `client.sequence_outcomes.list(owner, slug, outcome=...)`, MCP `fleet_get_recording`, `fleet_list_events`, `list_sequence_outcomes`
`capture_campaign`	Un projet qui exécute la campagne de capture	`client.projects.get(uid)`, MCP `list_capture_campaigns`, `get_campaign_acceptance_summary`
`coverage_cells`	La couverture d’acceptation du projet de campagne	MCP `get_campaign_acceptance_coverage`
`dataset_release`	Un jeu de données et ses slices	`client.datasets.get_by_slug(owner, slug)`, `client.slices.get(owner, slug)`, MCP `get_dataset`, `get_slice`
`evaluation_cohort`	Une slice de scènes d’évaluation mises de côté, tenue à l’écart de toute release d’entraînement	`client.slices.get(owner, slug)`, `client.sequence_outcomes.list(owner, slug, evaluation_membership="held_out_eval")`, MCP `get_slice`, `list_sequence_outcomes`

La voie défaillance et récupération et chaque cohorte d’évaluation sont livrées sous forme de slices. Vous pouvez lister leurs éléments avec client.slices.list_items(owner, slug).

Cycle de vie

Statut	Signification
`proposed`	Avala a rédigé l’hypothèse et les cellules de couverture cibles à partir du rapport d’écarts.
`approved`	Vous avez approuvé le brief. La campagne de capture est ouverte.
`collecting`	Les séquences sont capturées, révisées et acceptées.
`released`	La release de jeu de données est publiée. Vous entraînez votre modèle dessus.
`validating`	Avala note la nouvelle version du modèle sur la cohorte d’évaluation.
`closed`	Le résultat est enregistré et l’allocation suivante est fixée.

Une expérience clôturée reste dans le registre. L’expérience suivante sur la même condition de défaillance renvoie vers elle, ce qui vous permet de suivre une capacité d’une version du modèle à l’autre.

Démarrage

Apprentissage de flotte

Plateforme

Cas d'utilisation

Champs

Exemple d’enregistrement

Liens entre l’enregistrement et les objets existants

Cycle de vie

​Champs

​Exemple d’enregistrement

​Liens entre l’enregistrement et les objets existants

​Cycle de vie

Champs

Exemple d’enregistrement

Liens entre l’enregistrement et les objets existants

Cycle de vie