arXiv:2306.01731

PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward

Weichao Zhou, Wenchao Li

제출 2023-06-02

원문 초록

Many imitation learning (IL) algorithms employ inverse reinforcement learning (IRL) to infer the intrinsic reward function that an expert is implicitly optimizing for based on their demonstrated behaviors. However, in practice, IRL-based IL can fail to accomplish the underlying task due to a misalignment between the inferred reward and the objective of the task. In this paper, we address the susceptibility of IL to such misalignment by introducing a semi-supervised reward design paradigm called Protagonist Antagonist Guided Adversarial Reward (PAGAR). PAGAR-based IL trains a policy to perform well under mixed reward functions instead of a single reward function as in IRL-based IL. We identify the theoretical conditions under which PAGAR-based IL can avoid the task failures caused by reward misalignment. We also present a practical on-and-off policy approach to implementing PAGAR-based IL. Experimental results show that our algorithm outperforms standard IL baselines in complex tasks and challenging transfer settings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22119v1cs.RO공통 태그 Imitation Learning, Zero-Shot Learning

한 손이 다른 손을 주시한다: 동적 환경에서 샘플 효율적 양손 조작을 위한 동적 다중 에이전트 협력

One Hand Watches The Other: Dynamic Multi-Agent Cooperation for Sample-Efficient Bimanual Manipulation in Dynamic Environments

다중 스트림(multi-stream) 로봇 조작 정책은 환경 기준 좌표계에 대한 상대적 행동을 모델링함으로써 비교할 수 없는 샘플 효율성과 일반화 성능을 달성한다. 그러나 기존 접근법은 일반적으로 이러한 좌표계가 엄격히 외생적(exogenous)이라고 가정한다. 단일 로봇 팔이 움직이는 물체를 조작하거나 두 팔이 협조할 때처럼, 각 팔이 사실상 상대방의 동적 환경의 일부가 되는 동적 설정에서는 이러한 인과적 가정이 무너진다. 우리는 DynaMAC을 제안한다. 이는 다중 스트림 정책의 샘플 효율성, 계산 속도, 유연성을 유지하면서 이러한 인과적 한계를 해결하는 경량의 정책 독립적(policy-agnostic) 프레임워크이다. DynaMAC은 반대쪽 팔을 동적 작업 매개변수로 취급하여, 명시적인 리더-팔로워(leader-follower) 관계 없이 동적 조작과 양손 협조에 대한 통합 공식화를 제공한다. 이러한 능력을 엄격히 평가하기 위해, 동적 환경에서의 로봇 조작을 위한 새로운 벤치마크인 DynaBench를 도입한다. 동적 환경과 양손 조작 작업 모두에서 DynaMAC은 20배 적은 샘플을 필요로 하면서도 선도적인 확률적 및 생성형 베이스라인을 35%p 이상 능가한다. 중요하게도, DynaMAC은 정적 시연에서 동적 환경으로 제로샷(zero-shot) 일반화를 수행하여 데이터 수집을 크게 단순화하고 인간-로봇 협력을 향한 우아한 다리를 마련한다.

arXiv:2607.14635v1cs.AI공통 태그 Imitation Learning, Zero-Shot Learning

Action QFormer: 비전-언어-액션 모델에서 액션 지도를 통한 구조화된 표현 형성

Action QFormer: Structured Representation Shaping under Action Supervision in Vision-Language-Action Models

비전-언어-액션(VLA) 모델에서 액션 지도는 흔히 동작 예측 학습을 위한 하류 목적 함수로 취급된다. 본 논문에서는 이를 대신 상속된 다중 모달 표현을 형성하는 힘으로 연구한다. 이러한 형성은 이중 효과를 가진다는 것을 보인다. 액션 호환 표현을 만드는 데 필요하지만, 액션 지도가 상속된 다중 모달 경로에 너무 직접적으로 적용되면 언어 측 처리와 객체 그라운딩(grounding)을 지원하는 표현을 불안정하게 만들 수도 있다. 이 긴장을 해결하기 위해 Action QFormer를 도입한다. 이는 쿼리 기반 액션 대면(action-facing) 인터페이스로, 하류 액션 생성 전에 인스트럭션 조건 쿼리(instruction-conditioned queries)를 사용하여 상속된 다중 모달 정보를 액션 대면 표현으로 재구성한다. 제로샷(zero-shot) sim-to-real 내비게이션에서 Action QFormer는 평균 폐루프(closed-loop) 과제 성공률을 18.8%에서 56.3%로 향상시키고, 고정 인스트럭션 액션 생성 정확도를 22.5%에서 75.5%로 높이며, 분포 외(out-of-distribution) 인스트럭션 생성을 거의 제거한다. 추가 분석은 Action QFormer가 액션 지도가 상속된 다중 모달 표현을 형성하는 방식을 바꾸며, 광범위한 상류(upstream) 재작성을 줄이는 동시 목표적이고 때로는 건설적인 액션 지도 적응을 보존한다는 것을 보여준다. 이 결과는 VLA 성능 향상이 더 강력한 사전학습(pre-training) 백본뿐만 아니라, 액션 지도 하에서 형성 방식을 통제하면서 상속된 다중 모달 정보를 선택하고 조직화하는 더 나은 방법도 필요함을 시사한다.

arXiv:2607.14739v1cs.CV공통 태그 Imitation Learning, Zero-Shot Learning

FoMoVLA: 비전-언어-동작 모델을 위한 시각적 예측과 동작 안내의 연결

FoMoVLA: Bridging Visual Foresight and Motion Guidance for Vision-Language-Action Models

비전-언어-동작(VLA) 모델은 시각-운동(visuomotor) 정책 학습에서 인상적인 성과를 거두었지만, 근본적으로 반응형(reactive)으로 남아 있어 현재 관측과 언어를 동작에 매핑할 뿐 세계 역학(world dynamics)에 대한 명시적 순방향 예측 없이 동작한다. 기존 시각적 예측(visual foresight) 방법은 미래 시각 상태를 예측하지만 명시적 동작 안내(motion guidance)가 부족하다: 어디로 가야 하는지는 보여주지만 어떻게 도달해야 하는지는 보여주지 않는다. 우리는 미래 특징(feature) 예측과 희소(sparse) 점 추적이 자연스럽게 상호 보완적이라고 주장한다. 전자는 목표 상태를 제공하고, 후자는 이를 향한 연속적 동작 경로를 포착한다. 우리는 FoMoVLA를 제안한다. 이는 미래 특징 예측(foresight)과 희소 2D 점 추적을 공동 학습하여 명시적 시공간(spatio-temporal) 감독으로 VLA 표현(representation)을 보강하고, 연속 동작 정책(continuous action policy)을 향상시키는 프레임워크이다. FoMoVLA는 미래 특징 상태를 디코딩하기 위한 compact foresight 토큰을 도입하고, 희소 시간적 2D 점 궤적을 디코딩하여 compact 기하학적 동작을 모델링하며, 예측된 상태와 점 역학(point dynamics) 간의 일관된 추론을 가능하게 하는 경량 미래 조건(future-conditioned) 크로스-어텐션(cross-attention) 모듈을 통해 둘을 결합한다. LIBERO, RoboCasa GR-1 Tabletop, LIBERO-Plus에서의 광범위한 실험은 최첨단(state-of-the-art) 성능과 강력한 제로샷(zero-shot) 일반화를 보여준다. 프로젝트 페이지는 https://liauto-research.github.io/FoMoVLA 에서 확인할 수 있다.

arXiv:2609.07780v3cs.CV공통 태그 Zero-Shot Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.27149v2cs.CV공통 태그 Zero-Shot Learning

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.