Was mit jedem Release ausgeliefert wird
Jedes Release in einem Fleet-Learning-Programm enthält:
Avala bereitet den LeRobot-Export als Teil des Programms vor. Sie führen das Training durch.
Einen LeRobot-Datensatz importieren
Der LeRobot-Importer liest einen LeRobot-Datensatz vom Hugging Face Hub oder aus einem lokalen Verzeichnis. Er erstellt einen Avala-MCAP-Datensatz.- Jede LeRobot-Episode wird zu einer
.mcap-Datei, die Avala als ein Element aufnimmt. Eine LeRobot-Episode entspricht einer Avala-Sequenz. - Kamerastreams werden als
foxglove.CompressedImagegeschrieben, sodass sie im Mission Control Viewer dargestellt werden. - Propriozeption (
observation.state,actionund andere numerische 1-D-Features) wird alsgoogle.protobuf.Struct-Nachrichten geschrieben. Die Werte bleiben erhalten und sind als Rohnachrichten lesbar. - Jede weitere Spalte pro Frame (Rewards,
episode_uuid,failure_typeund andere Textspalten) bleibt in einem eigenen Topic erhalten. Einecontrol_source-Spalte (policy,teleop,intervention,hold) landet in/lerobot/control_source.
lerobot, das Python 3.12 oder neuer voraussetzt. Für LeRobot-v3-Datensätze funktioniert auch ein Reader ohne torch unter Python 3.9 oder neuer: pip install "avala[lerobot-core-video]".
Übergeben Sie
repo_id, root oder beides. In Python wählt state_keys die numerischen Features, die erhalten bleiben. Standardwerte sind observation.state und action.
Einen Avala-Datensatz nach LeRobot exportieren
Sie können auch jeden Avala-Sequenzdatensatz selbst in LeRobot v3 konvertieren. Eine Avala-Sequenz wird zu einer LeRobot-Episode.--include-outcomes schreibt das aktuelle Ergebnis-Label jeder Sequenz nach meta/avala_sequence_outcomes.jsonl, eine Zeile pro LeRobot-Episode. In Python übergeben Sie include_outcomes=True. Das Dateiformat ist unter Ergebnis-Labels mit LeRobot exportieren beschrieben.
Fügen Sie --state-key und --action-key hinzu, wenn die Quellframes Propriozeption enthalten. Die vollständige Optionsliste und die Python-API finden Sie unter Avala + LeRobot.
Ergebnis-Labels im Training nutzen
Die Ergebnis-Labels begleiten den LeRobot-Export. Typische Verwendungen:- Gewichten oder wählen Sie Sequenzen nach
outcome,progress,qualityundspeed. - Trainieren Sie auf den
label-Strings der Teilaufgaben und denaction-Strings der Handaktionen für sprachkonditionierte Policies. - Teilen Sie nach Leakage-Gruppe auf, wenn Sie eigene Validierungssets bauen.
- Halten Sie Sequenzen, deren
evaluation_membershipaufheld_out_evalsteht, aus dem Training heraus, wenn Sie Daten aus anderen Quellen zusammenführen. Releases enthalten sie nie.