Open-AoE: 체화 학습을 위한 공개 자아 중심 조작 데이터셋 및 툴체인
Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning
자아 중심 인간 조작 영상은 체화 지능을 위한 확장 가능한 감독 신호를 제공하지만, 기존 자료는 저비용 연속 촬영, 조작 수준의 구조화된 주석, 로봇 학습을 위한 재사용 가능한 도구를 거의 동시에 갖추지 못한다. 우리는 스마트폰 촬영부터 모델 학습까지 전 과정에 걸친 파이프라인을 아우르는, 커뮤니티 중심의 공개 자아 중심 조작 데이터셋 및 툴체인인 Open-AoE를 제시한다. 첫 번째 릴리스에는 400대 이상의 스마트폰을 사용한 500명 이상의 기여자가 자연 환경에서 수집한 약 2,000시간 분량의 조작 영상이 포함된다. 데이터셋은 텍스트 주석, MANO 기반 손 자세, 카메라 궤적, 시간적으로 국소화된 원자적 동작을 제공한다. Open-AoE에는 시간적 동작 분할, 의미 주석, 손 재구성, 카메라 궤적 재구성을 통해 원시 녹화를 구조화된 샘플로 변환하는 데이터 처리 파이프라인이 추가로 포함된다. 한편, 시각화, 교차 체화(cross-embodiment) 리타겟팅, 모델별 데이터 변환, VLA 정책, WAM, 월드 모델(World Model)을 위한 학습 레시피를 지원하는 별도의 하류(downstream) 툴체인도 제공한다. 확장 가능한 촬영, 구조화된 처리, 하류 적응을 통합함으로써 Open-AoE는 데이터 기여와 재사용 모두의 장벽을 낮추며, 체화 모델 학습, 인간-로봇 전이, 월드 모델링을 위한 실용적인 공개 인프라를 제공한다.