LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery
원문 초록
We introduce LOTUS, a continual imitation learning algorithm that empowers a physical robot to continuously and efficiently learn to solve new manipulation tasks throughout its lifespan. The core idea behind LOTUS is constructing an ever-growing skill library from a sequence of new tasks with a small number of human demonstrations. LOTUS starts with a continual skill discovery process using an open-vocabulary vision model, which extracts skills as recurring patterns presented in unsegmented demonstrations. Continual skill discovery updates existing skills to avoid catastrophic forgetting of previous tasks and adds new skills to solve novel tasks. LOTUS trains a meta-controller that flexibly composes various skills to tackle vision-based manipulation tasks in the lifelong learning process. Our comprehensive experiments show that LOTUS outperforms state-of-the-art baselines by over 11% in success rate, showing its superior knowledge transfer ability compared to prior methods. More results and videos can be found on the project website: https://ut-austin-rpl.github.io/Lotus/.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PointZero: 전이 가능한 3D 동역학 학습을 위한 3D 포인트 트랙 완성
PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics
월드 모델(world model)은 지각 시스템에 상호작용에 따라 장면이 어떻게 변화하는지를 예측하는 능력을 부여한다. 월드 모델은 다양한 양의 데이터로 학습되었을 때 가장 큰 이점을 가지며, 이를 통해 다운스트림 응용에 풍부한 사전 지식(prior)을 심어줄 수 있다. 기존 방법들은 행동 조건화된(action-conditioned) 3D 동역학을 학습하기 위해 일반적으로 로봇 행동 레이블을 필요로 하며, 이는 웹 비디오 데이터를 학습 풀에서 제외시킨다. 우리는 로봇 데이터 없이 전이 가능한 3D 동역학을 학습하기 위한 사전학습 목표로서 3D 포인트 트랙 완성을 연구한다. 단일 RGB-D 관측과 희소한 부분 3D 궤적(트랙)이 주어졌을 때, 우리는 관측된 모든 점들의 미래 3D 트랙을 예측한다. 우리는 이 목표가 로봇 행동 레이블을 필요로 하지 않고도 풍부한 3D 동역학 사전 지식을 생성함을 보인다. 우리는 변형 가능한(deformable), 관절형(articulated), 그리고 견고한(rigid) 객체를 포괄하는 290만 개의 합성 프레임으로 구성된 다양한 데이터셋을 제공하며, 이를 사용해 PointZero를 학습시킨다. 우리는 유연하고 표현력이 풍부한 트랜스포머인 PointZero가 동일한 데이터에서 기존 방법들을 능가함을 보인다. 우리는 PointZero를 두 가지 다운스트림 응용, 즉 (1) 행동 조건화된 3D 동역학 예측과 (2) 모방 학습(imitation learning)을 위해 사후 학습함으로써 우리의 사전학습 목표의 유용성을 입증한다. 엔드이펙터(end-effector) 자세를 조건으로 하도록 파인튜닝되었을 때, PointZero는 최근의 PGND 3D 동역학 벤치마크에서 베이스라인들을 능가한다. 로봇 행동과 3D 트랙을 예측하도록 파인튜닝되었을 때, PointZero는 7개 중 6개의 시뮬레이션 및 실제 로봇 조작 과업에서 베이스라인들을 능가하거나 동등한 성능을 보인다. 우리는 또한 제안한 아키텍처의 이점과 제안한 사전학습 목표 및 데이터셋의 이점을 분리하기 위해 PointZero를 처음부터(from scratch) 학습시키는 실험도 평가한다. 우리는 데이터셋, 체크포인트, 그리고 전체 학습 레시피를 공개한다.
효율적인 VLA를 만드는 요소는 무엇인가? 액션 헤드 설계, 스케일링, 지연시간
What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency
비전-언어-행동(VLA) 모델은 사전학습된 비전 인코더, 언어 백본, 액션 헤드를 결합하지만, 통제된 지연시간-쌍(latency-paired) 조건에서 각 구성 요소의 상대적 기여는 확립되지 않았다. 우리는 백본 계열(SigLIP2 및 Qwen2.5)과 학습 파이프라인을 고정하고, 액션 헤드 설계와 모듈 규모를 sweep하며, 각 구성을 측정된 온디바이스 지연시간과 짝짓는다. 연구는 세 가지 발견을 낳는다. 첫째, 액션 헤드 성능은 디코더 아키텍처, 손실, 또는 추론 예산보다 주로 초기화에 의해 좌우된다. 언어 백본의 마지막 트랜스포머 레이어를 헤드로 복사하는 것이 지연시간 비용 없이 단일 최대 레버이며, 모든 모듈 규모에서 도움이 되는 유일한 축이다. 정렬(alignment) 또한 다른 축들을 설명한다. flow matching과 더 무거운 디코더는 헤드가 정렬되지 않았을 때만 이득이 있고 정렬되면 역전되며, 추가 추론 패스는 측정 가능한 이득을 주지 않는다. 표현력(expressiveness)은 부족한 정렬을 대체하는 것으로 보인다. 우리는 이를 표현 전환(representation transfer)으로 해석한다. 정렬된 헤드는 지시문의 객체 명사에 계속 어텐션(attention)하고, 처음부터 행동을 재학습하기보다 가중치 공간에서 백본에 가깝게 유지된다. 정렬에 초기화를 통해서만 도달하기 때문에, 우리는 이를 입증된 원인이 아니라 측정값을 가장 잘 정리하는 설명으로 제시하고, 이를 확정할 통제 실험을 명명한다. 둘째, 용량(capacity)은 정렬 이후에만 효과가 있다. 정렬된 액션 헤드는 스케일링할 때 수익률이 가장 높은 모듈이다. 셋째, 그 수익은 오늘날 $\pi$-계열 VLA가 이미 사용하는 규모 근처에서 급격히 감소하므로, 더 키우는 것은 그 지연시간 대비 in-domain 정확도에서 거의 이득을 주지 않는다. 이를 바탕으로 EffVLA를 제안한다. EffVLA는 표준 LIBERO에서 최강 오픈소스 VLA와 맞먹는 소형 모델로, 더 낮은 지연시간으로 LIBERO-Plus 교란(perturbation) 축 대부분에서 선두이며, 레시피를 바꾸지 않고 실제 SO-ARM101 암에 전이된다.
가우시안이면 충분하다: 대규모 행동 모델(LBM) 미세조정에서 플로우 매칭 사전분포는 도움이 되지 않는다
The Gaussian Is Enough: Flow-Matching Priors Do Not Help When Fine-Tuning Large Behavior Models
현대 로봇 모방 학습은 확산(diffusion) 또는 플로우 매칭(flow-matching) 모델에 기반한 생성 정책에 점점 더 의존하며, 이러한 정책은 사전분포(prior distribution)에서 샘플을 변환하여 행동을 생성한다. 핵심 질문은 사전분포 선택이 중요한지 여부이다. 표준 가우시안을 목표에 더 가까운 비가우시안 사전분포로 대체하는 것은 처음부터 학습할 때 성능을 크게 향상시키는 것으로 보여 왔다. 자연스러운 다음 단계는 이러한 이득이 LBM 1.0, $\pi_{0.5}$, GR00T~N1.5와 같은 사전학습된 대규모 행동 모델(LBM)의 미세조정으로 이어지는지, 더 큰 이득이 기대될 수 있는 상황에서도 그런지 묻는 것이다. 놀랍게도 우리는 매우 낮은 미세조정 데이터 비율에서만 그럴 가능성이 있을 뿐, 그렇지 않다는 것을 발견했다. 두 시뮬레이션 플랫폼의 40개 이상 과제에서 앞서 언급한 세 LBM 전반에 걸친 10만 회 이상의 시뮬레이션 롤아웃, 그리고 양손 조작 다섯 과제에서 1250회의 하드웨어 롤아웃에 걸쳐, 목표에 demonstrably 더 가까운 비가우시안 사전분포는 표준 가우시안 사전분포보다 통계적으로 구별되지 않거나 더 나쁜 미세조정 성능을 낸다. 진단 분석은 그 이유를 시사한다. 미세조정된 모방 학습 정책은 사전분포마다 미세조정된 인코더 임베딩(embedding)이 사전학습 임베딩 및 서로 간에 크게 달라지는데도 불구하고, 유사한 행동 예측으로 수렴한다. 학습률 ablation은 또한 인코더 학습이 미세조정 성능의 지배적 요인이며 사전분포 선택의 효과를 크게 상회함을 확인한다. 우리는 미세조정에서 학습된 사전분포가 언제·왜 여전히 중요할 수 있는지에 대한 향후 연구의 구체적 방향으로 마무리한다. 프로젝트 페이지: https://cxu-tri.github.io/non_gaussian_FT/
AffordanceWAM: 로봇 조작을 위한 어포던스 인식 세계-행동 공동 모델링
AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.
행동을 위한 올바른 미래: 세계 행동 모델에서 행동 관련 예측 상태 학습
The Right Future for Action: Learning Action-Relevant Predictive States in World Action Models
생성 과정이 필요 없는 세계 행동 모델(World Action Model, WAM)은 학습(training) 중에는 미래 비디오 예측을 유지하지만, 추론(inference) 시에는 내부 비디오 특징(feature)을 바탕으로 행동합니다. 그러나 제어를 위해 이러한 특징이 무엇을 보존해야 하는지는 여전히 불분명합니다. 본 연구의 표현 진단 결과에 따르면, 미래 변화를 더 잘 예측할 수 있는 표현이라 하더라도 선형 행동 디코딩을 반드시 더 쉽게 만드는 것은 아니었습니다. 관측된 미래 변화는 현재를 넘어서는 추가적인 행동 정보를 제공하며, 선형적으로 읽을 수 있는 행동 정보는 공간적으로 집중되어 있습니다. 이러한 발견을 바탕으로 비디오 전문가와 행동 전문가 사이의 컴팩트한 예측 인터페이스인 ARPS(Action-Relevant Predictive States)를 제안합니다. ARPS는 시계(horizon) 조건부 상태 예측기를 사용하여 중간 비디오 특징들을 컴팩트한 상태로 집약하며, 이 상태는 행동 전문가에게 모든 시각적 컨텍스트를 제공합니다. 미래 표현 지도(supervision)는 이 상태의 서로 다른 부분이 현재 대비 변화와 함께 서로 다른 미래 시점의 시각적 표현을 예측하도록 학습시킵니다. 추론 시에는 지도 브랜치가 제거되며, 행동 전문가는 현재 관측으로부터 계산된 학습된 예측 상태만을 사용합니다. 통제된 절제 연구(ablation)는 미래 지도가 분포 변화(distribution shift) 하에서의 일반화 성능을 크게 향상시킴을 보여줍니다. ARPS는 LIBERO에서 99.2%의 성공률을 달성했으며, 추가 적응(adaptation) 없이 LIBERO-Plus로 전이되어 87.3%에 도달하며 Fast-WAM을 39.2%포인트 앞섰습니다.
MaskVLA: Vision-Language-Action 모델의 궤적 과적합에 대응하는 시각적 마스킹
MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model
Vision-Language-Action(VLA) 모델은 시각-언어 이해와 실행 가능한 로봇 행동을 통합하여 로봇 제어를 위한 종단간(end-to-end) 학습을 가능하게 한다. 그러나 우리의 실증 분석에 따르면, 기존 모델들은 제한된 데이터셋으로 파인튜닝(fine-tuning)될 때 심각한 궤적 과적합(trajectory overfitting)을 보인다. 모델이 손목 카메라 정보를 효과적으로 활용하도록 유도하기 위해, 우리는 마스킹 기반 파인튜닝 전략인 MaskVLA를 제안한다. 메인 카메라의 시각 정보 중 일부를 무작위로 마스킹함으로써, 모델은 보다 세밀하고 과제와 관련성이 높으며 효과적인 시각적 특징을 자율적으로 학습하도록 유도된다. 이 과정은 강건한 정책(policy)의 출현으로 이어지며, 이를 통해 복잡한 조작(manipulation) 과제를 처리하는 모델의 능력을 향상시키고 일반화 성능을 개선한다. 우리의 방법은 RoboTwin 2.0에서 종합적으로 평가되었으며, $\pi_0$ 및 OpenVLA-OFT 대비 각각 평균 23.2%, 16.8%의 성공률 향상을 달성했다. 또한 실제 ALOHA 로봇을 이용한 실험에서도 우리 접근법의 효과가 입증되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.