PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.07943v2cs.RO

TAVIS: 모방 학습에서의 1인칭 시점 능동 비전 및 예측 시선 벤치마크

TAVIS: A Benchmark for Egocentric Active Vision and Anticipatory Gaze in Imitation Learning

조작(manipulation) 과정에서 정책이 스스로 시선을 제어하는 능동 비전(active vision)은 모방 학습(imitation learning)의 핵심 역량으로 부상했으며, 지난 1년 동안 여러 독립적인 시스템을 통해 그 이점이 입증되었습니다. 그러나 여러 접근법을 비교하거나, 능동 비전이 어떤 작업 유형과 조건에서 무엇을 기여하는지 정량화할 수 있는 공유 벤치마크는 부재한 상황입니다. 본 논문에서는 IsaacLab을 기반으로 구축되었으며 두 가지 휴머노이드 상체 임바디먼트(GR1T2, Reachy2)를 지원하고 상호 보완적인 두 가지 작업 스위트인 TAVIS-Head(팬/틸트 목 관절을 통한 전역 탐색, 5개 작업) 및 TAVIS-Hands(손목 카메라를 통한 국소 차폐, 3개 작업)를 포함하는 능동 비전 모방 학습 평가 인프라 TAVIS를 소개합니다. TAVIS는 세 가지 평가 프리미티브를 제공합니다: 동일한 시연(demonstration) 데이터를 사용하는 쌍체 헤드 카메라 대 고정 카메라(headcam-vs-fixedcam) 프로토콜, 학습된 정책의 예측 시선(anticipatory gaze)을 정량화하며 인지 과학 및 HRI에 기반을 둔 새로운 지표인 GALT(Gaze-Action Lead Time), 그리고 절차적 ID/OOD 분할입니다. Diffusion Policy 및 $π_0$를 사용한 기준선(baseline) 실험을 통해 (i) 능동 비전은 여러 학습(training) 실행에 걸쳐 전반적으로 일관되게 도움이 되지만 그 혜택은 균일하기보다 작업 조건에 따라 달라진다는 점, (ii) 두 작업 스위트 모두에서 통제된 분포 변화(distribution shift) 하에 멀티태스크 정책 성능이 급격히 저하된다는 점, (iii) 모방만으로도 인간 시연과 유사한 리드 타임으로 작업 관련 객체에 도달하는 예측 시선이 형성되지만, 성공률 지표로는 드러나지 않는 액션 청킹(action chunking)의 영향으로 인해 머리 움직임이 시연 데이터보다 덜 매끄럽다는 점을 밝혔습니다. 코드와 평가 스크립트는 https://github.com/spiglerg/tavis 에 공개되어 있으며, 시연 데이터(LeRobot v3.0, 약 2,200개 에피소드) 및 학습된 기준선 모델은 https://huggingface.co/tavis-benchmark 에서 제공됩니다.

arXiv:2606.17011v2cs.RO

ROVE: 강화학습을 통해 휴머노이드 조작을 위한 인간 개입 활용하기

ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning

인간의 개입(human intervention)은 비전-언어-행동(VLA, Vision-Language-Action) 모델의 사후 학습에 결정적인 교정 신호를 제공합니다. 그러나 복잡한 전신 기구학과 정교한 손 제어로 인해 매끄러운 휴머노이드 개입을 구현하는 것은 상당한 시스템적 과제입니다. 결과적으로 수집된 개입 궤적은 최적이 아닌 경우가 많으며, 인간의 개입을 전문가 감독으로 간주하는 방식은 머뭇거리거나 비효율적이거나 심지어 오류가 있는 행동까지 흡수할 수 있습니다. 이러한 시스템 및 알고리즘적 문제를 모두 해결하기 위해, 본 논문에서는 불완전한 인간 개입을 활용하여 휴머노이드 VLA를 사후 학습하는 강화학습 프레임워크인 ROVE를 제안합니다. 첫째, ROVE는 휴머노이드 조작을 위한 배포 및 개입 데이터를 수집할 수 있는 인간 참여형(human-in-the-loop) 파이프라인을 도입합니다. 둘째, 낙관적 가치 추정(OVE, Optimistic Value Estimation)을 활용하여 다양한 품질이 혼재된 궤적에서 가치가 높은 행동의 우선순위를 정합니다. 가치 추정을 더욱 견고하게 만들기 위해 교차 임바디먼트(cross-embodiment) 인간 경험 비디오를 통합하여 롱테일 실패 및 복구 모드에 대한 풍부한 감독 정보를 제공합니다. 이를 통해 도출된 크리틱(critic)은 유익한 어드밴티지 신호를 생성하여, VLA 액터가 모든 행동을 무차별적으로 모방하는 대신 가치가 높은 행동에 집중하도록 유도합니다. 까다로운 실제 환경의 접촉 집약적이고 정밀한 휴머노이드 조작 태스크에서, ROVE는 경험 학습 베이스라인들을 능가하며 여러 번의 롤아웃-개입 반복 과정에 걸쳐 지속적으로 성능을 향상시킵니다.