대비 상호작용을 통한 제로부터 객체 조작 학습
Learning Object Manipulation from Scratch via Contrastive Interaction
한국어 초록
대비 강화학습(CRL)은 동역학의 구조화된 표현을 학습함으로써 다양한 목표 조건 로봇 공학 작업에서 최근 성공을 거두었습니다. 그러나 이동(locomotion)이나 더 단순한 제어 영역에서의 성공에도 불구하고, CRL은 상호작용이 풍부한 조작(manipulation)에서 종종 어려움을 겪습니다. 우리는 이러한 어려움의 주요 원인이 접촉이나 파지(grasping)와 같은 객체 중심 상호작용이라고 주장하며, 이는 기저 동역학 모드에서 뚜렷한 변화를 유발합니다. 본 연구에서 우리는 조작 동역학을 구간별 부드러운 마르코프 과정으로 공식화하고, 상호작용 유발 모드 변화가 표준 CRL 에너지 함수가 표현하고 계획하기 어려운 구간별 비선형 도달 가능성 구조를 생성함을 보여줍니다. 이 분석을 바탕으로 우리는 상호작용 가중 재표본추출(IWR)을 소개합니다. IWR은 상호작용 전, 중, 후의 단계 주변에서 상호작용 인식 재표본추출을 수행하여, 학습된 표현이 미래 도달 가능성을 결정하는 모드 경계를 보존하도록 장려함으로써 다중 모드(multi-modal) 및 구간별 비선형 도달 가능성을 포착합니다. 2D 동적 제어, 로봇 조작, 로봇 에어 하키를 포함한 상호작용 중심 환경 전반에서, IWR은 시뮬레이션에서 평균 19.8%의 향상을 보이며 기존 CRL 방법론 대비 샘플 효율성과 전반적인 성능을 모두 향상시킵니다. 마지막으로, IWR로 학습된 정책(policies)을 사용하는 시뮬레이션-실전 전이 파이프라인(sim-to-real pipeline)을 통해, 우리는 골을 성공적으로 칠 수 있는 최초의 실세계 목표 조건 로봇 에어 하키 에이전트를 시연하며 성공률을 25%에서 60%로 향상시켰습니다. 프로젝트 페이지: IWR-arxiv.github.io.
원문 초록
Contrastive Reinforcement Learning (CRL) has seen recent success in a wide variety of goal-conditioned robotics tasks by learning structured representations of the dynamics. However, despite its success in locomotion and simpler control domains, CRL often struggles in interaction-rich manipulation. We argue that a key source of this difficulty is object-centric interaction, such as contact or grasping, that induces distinct changes in the underlying dynamic modes. In this work, we formulate manipulation dynamics as a piecewise-smooth Markov process and show that interaction-induced mode changes create piecewise nonlinear reachability structures that are difficult for standard CRL energy functions to represent and plan over. Based on this analysis, we introduce Interaction-weighted Resampling (IWR). IWR performs interaction-aware resampling around phases before, during, and after interactions, encouraging the learned representation to preserve the mode boundaries that determine future reachability to capture multi-modal and piecewise nonlinear reachability. Across interaction-centric environments, including 2D dynamic control, robotic manipulation, and robot air hockey, IWR improves both sample efficiency and overall performance over prior CRL methods, with 19.8% average improvement in simulation. Finally, using a sim-to-real pipeline with policies trained by IWR, we demonstrate the first real-world goal-conditioned robot air hockey agent capable of hitting goals, improving success from 25% to 60%. Project Page: IWR-arxiv.github.io.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11525v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Multi-modal Siamese Network for Entity Alignment
표현 차이 증류
Representational Difference Distillation
지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링
LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.
재난 간 피해 평가를 위한 지리공간 파운데이션 모델 임베딩의 지름길 학습
Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment
지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.