Fähigkeitsexperimente

Ein Fähigkeitsexperiment ist ein schriftlich festgehaltener Durchlauf des Fleet-Learning-Kreislaufs. Es beginnt mit einem Fehler, den Ihr Modell in einer bestimmten Modellversion zeigt. Es formuliert eine Hypothese, welche Daten den Fehler beheben. Es endet mit einem gemessenen Ergebnis und einer Entscheidung über die nächste Zuteilung. Avala eröffnet ein Fähigkeitsexperiment für jede Fehlerbedingung in einem Lückenbericht. Avala hält den Eintrag über Erhebung, Release und erneute Evaluation aktuell. Sie erhalten ihn mit jedem Fähigkeitsbericht.

Felder

Feld	Inhalt
`model_version`	Die Modellversion, die den Fehler gezeigt hat. Sie liefern diese Kennung.
`failure_condition`	Der Fehler und die Bedingungen, unter denen er auftritt, aus der Fehlertaxonomie. `mistake_type` und `failure_stage` verwenden dieselben Tags wie die Ergebnis-Labels der fehlgeschlagenen Sequenzen.
`hypothesis`	Eine prüfbare Aussage: welche Daten welche Metrik verändern sollen, und in welche Richtung.
`coverage_cells`	Die Abdeckungszellen, auf die das Experiment zielt.
`capture_campaign`	Die Erfassungskampagne, die die Daten erhebt.
`dataset_release`	Das versionierte Datensatz-Release mit den neuen Sequenzen.
`evaluation_cohort`	Die zurückgehaltenen Evaluationsszenen, mit denen das Ergebnis gemessen wird. Ihre Sequenzen tragen `evaluation_membership: "held_out_eval"`.
`outcome`	Das gemessene Ergebnis auf der Evaluationskohorte für jede Modellversion, mit Konfidenzintervallen.
`next_allocation`	Was der nächste Zyklus erhebt, und warum.

Beispieleintrag

{
  "experiment_id": "cx_dishwasher_rack_regrasp",
  "status": "validating",
  "model_version": "your-policy@2026-09-20",
  "failure_condition": {
    "mistake_type": "slip_during_place",
    "failure_stage": "place",
    "taxonomy_version": "3",
    "conditions": ["lower_rack_pulled_out", "wet_ceramic", "rack_obstacle_present"]
  },
  "hypothesis": "Adding expert sequences with slip and recovery on lower dishwasher racks raises success on the rack-loading cohort and lowers the intervention rate.",
  "coverage_cells": [
    {
      "environment": "kitchen",
      "mechanism": "dishwasher_pull_rack",
      "material": "ceramic_wet",
      "interaction_primitive": "place",
      "failure_mode": "regrasp_after_slip",
      "embodiment": "human_egocentric"
    }
  ],
  "capture_campaign": { "project_uid": "<project-uid>" },
  "dataset_release": { "dataset": "your-org/kitchen-manipulation", "release": "r4" },
  "evaluation_cohort": { "cohort_id": "eval_kitchen_racks", "version": "2" },
  "outcome": null,
  "next_allocation": null
}

outcome und next_allocation bleiben leer, bis Avala die nächste Modellversion erneut evaluiert.

Wie der Eintrag mit bestehenden Objekten verknüpft ist

Ein Fähigkeitsexperiment enthält Verweise. Jedes Feld zeigt auf ein Objekt, das Sie bereits in Mission Control, über die API, die SDKs und den MCP-Server öffnen können.

Experimentfeld	Bestehendes Objekt	Wo Sie es lesen
`failure_condition`	Flottenaufnahmen und Flotten-Events, die den Fehler zeigen, sowie die Ergebnis-Labels der fehlgeschlagenen Sequenzen	`client.fleet.recordings.get(...)`, `client.fleet.events.list(recording_id=...)`, `client.sequence_outcomes.list(owner, slug, outcome=...)`, MCP `fleet_get_recording`, `fleet_list_events`, `list_sequence_outcomes`
`capture_campaign`	Ein Projekt, das die Erfassungskampagne ausführt	`client.projects.get(uid)`, MCP `list_capture_campaigns`, `get_campaign_acceptance_summary`
`coverage_cells`	Akzeptanzabdeckung im Kampagnenprojekt	MCP `get_campaign_acceptance_coverage`
`dataset_release`	Ein Datensatz und seine Slices	`client.datasets.get_by_slug(owner, slug)`, `client.slices.get(owner, slug)`, MCP `get_dataset`, `get_slice`
`evaluation_cohort`	Ein Slice aus zurückgehaltenen Evaluationsszenen, der aus jedem Trainings-Release herausgehalten wird	`client.slices.get(owner, slug)`, `client.sequence_outcomes.list(owner, slug, evaluation_membership="held_out_eval")`, MCP `get_slice`, `list_sequence_outcomes`

Die Fehler-und-Erholungs-Spur und jede Evaluationskohorte werden als Slices geliefert. Sie können ihre Elemente mit client.slices.list_items(owner, slug) auflisten.

Lebenszyklus

Status	Bedeutung
`proposed`	Avala hat die Hypothese und die Zielabdeckungszellen aus dem Lückenbericht entworfen.
`approved`	Sie haben das Briefing genehmigt. Die Erfassungskampagne ist offen.
`collecting`	Sequenzen werden erfasst, geprüft und akzeptiert.
`released`	Das Datensatz-Release ist veröffentlicht. Sie trainieren darauf.
`validating`	Avala bewertet die neue Modellversion auf der Evaluationskohorte.
`closed`	Das Ergebnis ist dokumentiert und die nächste Zuteilung steht fest.

Ein abgeschlossenes Experiment bleibt im Bestand. Das nächste Experiment zur selben Fehlerbedingung verweist darauf. So können Sie eine Fähigkeit über Modellversionen hinweg verfolgen.

Erste Schritte

Fleet Learning

Plattform

Anwendungsfälle

Felder

Beispieleintrag

Wie der Eintrag mit bestehenden Objekten verknüpft ist

Lebenszyklus

​Felder

​Beispieleintrag

​Wie der Eintrag mit bestehenden Objekten verknüpft ist

​Lebenszyklus

Felder

Beispieleintrag

Wie der Eintrag mit bestehenden Objekten verknüpft ist

Lebenszyklus