Qué incluye cada release
Cada release de un programa de fleet learning incluye:
Avala prepara la exportación LeRobot como parte del programa. Usted ejecuta el entrenamiento.
Importe un dataset de LeRobot
El importador de LeRobot lee un dataset de LeRobot desde el Hugging Face Hub o un directorio local. Crea un dataset MCAP de Avala.- Cada episodio de LeRobot se convierte en un archivo
.mcap, que Avala ingiere como un elemento. Un episodio de LeRobot corresponde a una secuencia de Avala. - Los flujos de cámara se escriben como
foxglove.CompressedImage, así que se muestran en el visor de Mission Control. - La propiocepción (
observation.state,actiony otras características numéricas 1-D) se escribe como mensajesgoogle.protobuf.Struct. Los valores se conservan y se pueden leer como mensajes sin procesar. - Cada una de las demás columnas por fotograma (recompensas,
episode_uuid,failure_typey otras columnas de texto) se conserva en su propio topic. Una columnacontrol_source(policy,teleop,intervention,hold) va a/lerobot/control_source.
lerobot, que requiere Python 3.12 o posterior. Para datasets LeRobot v3 también funciona un lector sin torch en Python 3.9 o posterior: pip install "avala[lerobot-core-video]".
Pase
repo_id, root o ambos. En Python, state_keys selecciona las características numéricas que se conservan. Por defecto son observation.state y action.
Exporte un dataset de Avala a LeRobot
También puede convertir usted mismo cualquier dataset de secuencias de Avala a LeRobot v3. Una secuencia de Avala se convierte en un episodio de LeRobot.--include-outcomes escribe la etiqueta de resultado vigente de cada secuencia en meta/avala_sequence_outcomes.jsonl, una línea por episodio de LeRobot. En Python, pase include_outcomes=True. El formato del archivo se describe en la sección Exportar etiquetas de resultado con LeRobot de Esquema de metadatos de secuencia.
Añada --state-key y --action-key cuando los fotogramas de origen contengan propiocepción. La lista completa de opciones y la API de Python están en Avala + LeRobot.
Use las etiquetas de resultado en el entrenamiento
Las etiquetas de resultado viajan con la exportación LeRobot. Usos típicos:- Pondere o seleccione secuencias por
outcome,progress,qualityyspeed. - Entrene con las cadenas
labelde las subtareas y las cadenasactionde las acciones de las manos para políticas condicionadas por lenguaje. - Divida por grupo de fuga cuando construya sus propios conjuntos de validación.
- Mantenga fuera del entrenamiento las secuencias con
evaluation_membershipigual aheld_out_evalcuando combine datos de otras fuentes. Las releases nunca las incluyen.