데이터시트
모든 커버리지 프로그램을 한눈에.
각 프로그램이 캡처하고 기록하고 납품하는 내용을 항목당 한 줄로 정리했습니다.
- 캡처 방식
- 1인칭 시점, 텔레오퍼레이션, 맞춤형 리그, 현장 운영
- 계획 기반
- 28개 계열의 218개 워크플로
- 다양성
- 여섯 개의 축, 축마다 따로 추적
- 집중도
- 가정별, 수집자별 상한을 브리프에서 설정
- 중복 검사
- 파일 완전 일치와 영상 지문, 납품 내부와 납품 간 모두
- 시퀀스별 기록 항목
- 캠페인, 가명 처리된 가정 및 수집자 ID, 리그, 캘리브레이션, 동의 기록
- 실패와 복구
- 의도된 실패와 자연스러운 실패 모두, 결과·실패 유형·복구 구간 라벨 포함
- 납품마다
- 브리프와 대조한 커버리지 리포트
- 내보내기
- LeRobot 형식의 데이터셋 릴리스, Python SDK나 명령줄에서 제공
기준
모든 납품이 충족하는 다섯 가지 규칙.
있는 그대로의 장면
방은 사람들이 두고 간 상태 그대로 둡니다. 우편물, 휴대폰, 아무렇게나 놓인 머그잔도 화면에 남습니다. 일부러 어지럽히지도 않고, 그릇 하나를 옮기려고 테이블을 치우지도 않습니다.
집중도 상한
각 프로그램은 승인된 시간 중 한 가정과 한 수집자가 차지하는 비중에 상한을 둡니다. 커버리지 리포트는 각 납품이 두 상한 대비 어디에 있는지 보여줍니다.
중복 검사
파일 완전 일치 검사와 영상 지문으로 중복 및 유사 중복 시퀀스를 찾아냅니다. 한 납품 안에서뿐 아니라 이전 납품과도 비교합니다.
출처
모든 시퀀스에는 캡처 캠페인, 가명 처리된 가정 및 수집자 ID, 리그 및 캘리브레이션 ID, 그리고 근거가 되는 동의 기록이 함께 붙습니다.
납품마다 제공되는 커버리지 리포트
각 납품에는 리포트가 함께 제공됩니다. 가정과 수집자별 시간 및 시퀀스 수, 방, 가전, 작업과 동작, 그리고 브리프 대비 공백을 보여줍니다.
다양성
커버리지는 여섯 개의 독립적인 축으로 측정합니다.
같은 방, 같은 동작에 라벨을 더 붙여도 얻는 것은 적습니다. 각 축을 따로 추적하므로, 한 축의 공백이 다른 축의 데이터 양 뒤에 숨을 수 없습니다.
- 장소와 배치
- 다양한 가정, 방 크기, 수납 높이, 평면 구조, 작업면.
- 가전과 메커니즘
- 실제 가전 종류, 여닫는 방식, 조작부를 시퀀스마다 기록합니다.
- 물체와 적재물
- 모양, 크기, 재질, 무게, 내용물. 여러 옷이 섞인 빨랫감부터 가득 찬 장바구니까지.
- 자연스러운 시작 상태
- 실제 사용 후의 실제 집안일. 뒤섞인 식기, 생활감 있는 방, 세탁을 기다리는 빨래 바구니.
- 사람과 시점
- 다양한 수집자, 손을 뻗는 방식, 작업 높이. 장소와는 별도로 추적합니다.
- 동작과 결과
- 자연스러운 속도로 이루어지는 완전한 상태 변화. 열기, 비우기, 분류하기, 놓기, 닫기, 원위치하기.
수집 방식
각본대로의 시연을 넘어서.
각본대로의 시연은 모델에 성공이 어떤 모습인지 보여 줍니다. 모든 커버리지 프로그램에 성공 전후에 일어나는 일을 보여 주는 두 가지 수집 방식을 추가할 수 있으며, 납품의 나머지 부분과 같은 시퀀스별 결과 라벨이 붙습니다.
- 실패와 복구
- 작업자는 현실적인 실패를 일부러 포함합니다. 물건을 떨어뜨리고, 잡기를 놓치고, 다시 잡고, 단계를 되돌립니다. 그런 다음 복구해서 작업을 마칩니다. 이런 시퀀스는 버리지 않고 라벨을 붙입니다. 각 시퀀스에는 결과, 실패 유형, 복구의 시작과 끝이 기록되고 왼손과 오른손 각각의 동작 라벨도 붙습니다.
- 각본 없는 장시간 세션
- 수집자는 각본 없이 실제 가정과 일터에서 여러 작업으로 이루어진 긴 세션을 작업 흐름에 맞는 순서로 진행합니다. 캡처가 끝나면 비전 언어 모델이 각 세션을 나누고 라벨을 붙입니다. 작업, 시작 시각과 종료 시각이 있는 하위 작업, 각 작업이 끝난 상태를 보여 주는 목표 프레임, 그리고 단계별 사고 연쇄입니다.
워크플로 카탈로그
218개 워크플로를 바탕으로 계획합니다.
공개 카탈로그에는 28개 계열의 워크플로 218개가 있습니다. 세탁과 설거지부터 차고, 매장, 호텔 객실 청소까지 다룹니다. 작성된 지침과 제공되는 작업 세부 내용으로 브리프에서 무엇을 수집할지 정확히 정할 수 있습니다.
- Laundry and garment care11
- Beds, bedding and household linens6
- Wardrobes, shoes and accessories7
- Ingredient preparation6
- Meal preparation and serving6
- Baking and dough handling6
- Dishwashing and kitchen reset6
- Groceries, pantry and food storage7
- Tables, drinks and dining areas6
- Surfaces, furniture and windows10
- Floors, rugs and entryways7
- Bathrooms and washroom reset8
- Waste, recycling and reusable packaging7
- Home organization and everyday objects11
- Packing, unpacking and household moves8
- Plants, balconies and outdoor chores6
- Retail shelves and stock handling6
- Workplace, supplies and light fulfillment6
- Yard work and garden grounds13
- Garage work and workshop organization8
- Vehicle and bicycle care12
- Outdoor gear and seasonal setup8
- Arrangement and target-state placement17
- Appliance operation and controls7
- Household upkeep and small repairs10
- Hotel housekeeping and hospitality6
- Pet care4
- Interaction with a second person3
계획과 근거
카탈로그는 계획이고, 커버리지 리포트는 근거입니다.
수집 브리프는 모델의 공백에 맞춰 카탈로그에서 셀을 고릅니다. 그런 다음 커버리지 리포트가 그 브리프 대비 무엇이 납품되었는지 셀 단위로 보여주고, 과도하게 대표된 가정, 수집자, 가전, 동작을 표시합니다.