Provable Representation Learning for Imitation with Contrastive Fourier Features
원문 초록
In imitation learning, it is common to learn a behavior policy to match an unknown target policy via max-likelihood training on a collected set of target demonstrations. In this work, we consider using offline experience datasets - potentially far from the target distribution - to learn low-dimensional state representations that provably accelerate the sample-efficiency of downstream imitation learning. A central challenge in this setting is that the unknown target policy itself may not exhibit low-dimensional behavior, and so there is a potential for the representation learning objective to alias states in which the target policy acts differently. Circumventing this challenge, we derive a representation learning objective that provides an upper bound on the performance difference between the target policy and a lowdimensional policy trained with max-likelihood, and this bound is tight regardless of whether the target policy itself exhibits low-dimensional structure. Moving to the practicality of our method, we show that our objective can be implemented as contrastive learning, in which the transition dynamics are approximated by either an implicit energy-based model or, in some special cases, an implicit linear model with representations given by random Fourier features. Experiments on both tabular environments and high-dimensional Atari games provide quantitative evidence for the practical benefits of our proposed objective.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Multi-modal Siamese Network for Entity Alignment
표현 차이 증류
Representational Difference Distillation
지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.
RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/
LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링
LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.
재난 간 피해 평가를 위한 지리공간 파운데이션 모델 임베딩의 지름길 학습
Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment
지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
TabMF: Learning Dataset Representations with Tabular Foundation Models
지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.