각 릴리스에 포함되는 항목
플릿 학습 프로그램의 모든 릴리스에는 다음이 포함됩니다:
Avala는 프로그램의 일부로 LeRobot 내보내기를 준비합니다. 학습은 고객이 실행합니다.
LeRobot 데이터셋 가져오기
LeRobot 임포터는 Hugging Face Hub 또는 로컬 디렉터리에서 LeRobot 데이터셋을 읽습니다. 그리고 Avala MCAP 데이터셋을 생성합니다.- 각 LeRobot 에피소드는 하나의
.mcap파일이 되며, Avala는 이를 하나의 항목으로 수집합니다. LeRobot 에피소드 하나는 Avala 시퀀스 하나에 대응합니다. - 카메라 스트림은
foxglove.CompressedImage로 기록되므로 Mission Control 뷰어에서 렌더링됩니다. - 고유 수용 감각 데이터(
observation.state,action및 기타 1차원 수치 특성)는google.protobuf.Struct메시지로 기록됩니다. 값은 보존되며 원시 메시지로 읽을 수 있습니다. - 그 밖의 프레임별 열(보상,
episode_uuid,failure_type및 기타 텍스트 열)도 각자의 토픽에 보존됩니다.control_source열(policy,teleop,intervention,hold)은/lerobot/control_source에 기록됩니다.
lerobot 추가 패키지가 필요하며, 이 패키지는 Python 3.12 이상이 필요합니다. LeRobot v3 데이터셋의 경우 torch 없는 리더도 Python 3.9 이상에서 동작합니다: pip install "avala[lerobot-core-video]".
repo_id, root 또는 둘 다 전달하세요. Python에서는 state_keys로 유지할 수치 특성을 선택합니다. 기본값은 observation.state와 action입니다.
Avala 데이터셋을 LeRobot으로 내보내기
모든 Avala 시퀀스 데이터셋을 직접 LeRobot v3로 변환할 수도 있습니다. Avala 시퀀스 하나가 LeRobot 에피소드 하나가 됩니다.--include-outcomes는 각 시퀀스의 현재 결과 라벨을 meta/avala_sequence_outcomes.jsonl에 LeRobot 에피소드당 한 줄씩 씁니다. Python에서는 include_outcomes=True를 전달하세요. 파일 형식은 시퀀스 메타데이터의 LeRobot으로 결과 라벨 내보내기 섹션에 설명되어 있습니다.
소스 프레임에 고유 수용 감각 데이터가 있으면 --state-key와 --action-key를 추가하세요. 전체 옵션 목록과 Python API는 Avala + LeRobot에 있습니다.
학습에 결과 라벨 사용하기
결과 라벨은 LeRobot 내보내기와 함께 제공됩니다. 일반적인 용도는 다음과 같습니다:outcome,progress,quality,speed에 따라 시퀀스에 가중치를 주거나 선택합니다.- 언어 조건부 정책을 위해 하위 작업
label문자열과 손 동작action문자열로 학습합니다. - 자체 검증 세트를 만들 때 누출 그룹으로 분할합니다.
- 다른 소스의 데이터를 병합할 때
evaluation_membership이held_out_eval인 시퀀스는 학습에서 제외합니다. 릴리스에는 이 시퀀스가 절대 포함되지 않습니다.