arXiv:2611.16020v1 cs.LG

불완전함을 모방하기: 이질적 시연자로부터의 오프라인-온라인 강건 모방 학습

Imitating the Imperfect: Offline-to-Online Robust Imitation Learning from Heterogeneous Demonstrators

Cheng Pan, Nan Lu, Kai Arulkumaran, Josie Hughes

제출 2026-11-11

한국어 초록

모방 학습(IL)은 일반적으로 여러 사람 또는 알고리즘 시연자로부터 수집한 대규모 오프라인 시연에 의존한다. 그러나 기존 접근법 대부분은 이러한 시연자가 동질적이거나 거의 최적인 전문가라고 가정하는데, 이는 편리하지만 실제 응용에서는 비현실적인 가정이다. 실제로 시연은 알려지지 않았고 서로 다른 숙련도를 지닌 이질적인 시연자들로부터 수집되는 경우가 많아, 품질이 크게 섞인 데이터가 된다. 본 연구는 이러한 이질적이고 불완전한 시연자로부터의 모방 학습이라는 어렵지만 실용적인 설정을 다룬다. 본 논문은 레이블이 없는 차선의 오프라인 시연으로부터 (i) 상태-행동 최적성 점수 모델과 (ii) 각 시연자의 잠재 숙련도를 함께 학습하는 원리적 프레임워크인 잠재 숙련도 및 최적성 점수 기반 모방 학습(LEOS-IL)을 제안한다. 학습된 점수 모델은 온라인 정책 최적화 절차에 통합되며, 여기서 에이전트는 추정된 최적성 점수를 최대화하도록 학습되고 온라인 롤아웃은 점수 모델을 정제하는 데 반복적으로 활용되어 온라인 적응 중의 분포 이동을 완화한다. 또한 명시적인 충분 조건 아래에서 최적성 점수 식별, 조건부 최적 점유 및 정책 복원에 대한 이론적 보장을 제시한다. 연속 제어 벤치마크 실험에서 제안한 접근법은 매우 이질적이고 품질이 낮은 시연 조건 전반에서 기존 기준선을 일관되게 능가하였다.

원문 초록

Imitation learning (IL) typically relies on large-scale offline demonstrations collected from multiple human or algorithmic demonstrators. However, most existing approaches assume these demonstrators are homogeneous or near-optimal experts, a convenient but unrealistic assumption in real-world applications. In practice, demonstrations are often collected from heterogeneous demonstrators with unknown and varying levels of expertise, resulting in highly mixed-quality data. In this work, we study a challenging yet practical setting of imitation learning from such heterogeneous imperfect demonstrators. We propose Latent Expertise and Optimality Scoring based Imitation Learning (LEOS-IL), a principled framework that jointly learns (i) a state-action optimality scoring model and (ii) latent expertise levels for each demonstrator from unlabeled suboptimal offline demonstrations. The learned scoring model is then integrated into an online policy optimization procedure, where the agent is trained to maximize estimated optimality scores while its online rollouts are iteratively leveraged to refine the scoring model, thereby mitigating distributional shift during online adaptation. We further provide theoretical guarantees for optimality score identification and conditional optimal occupancy and policy recovery under explicit sufficient conditions. Experiments on continuous control benchmarks demonstrate that our approach consistently outperforms existing baselines across highly heterogeneous and low-quality demonstration regimes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.16020v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.