PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.35698v3cs.LG

정규화의 입증 가능한 이점: 적대적 모방 학습을 위한 빠른 수렴률

Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning

우리는 적대적 모방 학습(adversarial imitation learning, AIL)을 연구한다. AIL에서 에이전트(agent)는 전문가(expert) 행동과 학습자(learner) 행동을 구별하는 적대적 보상(reward)에 대해 정책(policy)을 최적화함으로써 전문가의 시연(demonstration)을 모방하는 법을 학습한다. 역사적으로 보상 정규화(regularization)와 엔트로피 기반 정책 정규화는 GAIL, LS-IQ와 같이 경험적으로 성공을 거둔 방법들의 핵심 구성 요소였지만, 유한 샘플(finite-sample) 환경에서의 이점은 아직 충분히 탐구되지 않았다. 우리는 일반적인 함수 근사(function approximation)를 사용하는 유한 구간(finite-horizon) 마르코프 결정 과정(Markov decision process)에서 공동으로 정규화된 AIL에 대한 빠른 수렴률을 도출한다. 우리의 모델 프리(model-free) 알고리즘인 Dually Regularized AIL은 KL 정책 정규화와 전문가 및 학습자의 점유율(occupancy)로 가중된 2차(quadratic) 보상 페널티를 결합한다. K개의 온라인 에피소드와 N개의 전문가 경로(trajectory)가 주어졌을 때, 고정된 정규화 파라미터에 대해 정규화된 모방 격차(imitation gap)에 대한 $\widetilde{O}\left(\frac{1}{K}+\frac{1}{N}\right)$ 경계(bound)를 증명한다. 우리의 분석은 유한한 전문가 데이터와 확률적(stochastic) 학습자 피드백으로 인한 추정 오차를 제어하기 위해 일반적인 컨벡스(convex) 보상 클래스에 대한 온라인 미러 디센트(mirror descent) 구성과, 낙관적(optimistic) KL 정규화 정책 학습에 대한 정교한(sharp) 분석을 결합한다. 우리가 아는 한, Dually Regularized AIL은 확률적 전문가(stochastic expert)가 존재하는 경우에도 이러한 정규화된 AIL 목적함수에 대해 전문가 시연과 온라인 상호작용(interaction) 양쪽 모두에서 $\widetilde{O}\left(\frac{1}ε\right)$ 샘플 복잡도(sample complexity)를 동시에 달성한 최초의 알고리즘이다. 이러한 결과는 AIL에서 보상 정규화와 정책 정규화가 갖는 상호 보완적인 통계적 이점을 엄밀하게 규명한다.

arXiv:2606.22056v1cs.LG

적대적 모방 학습을 위한 이론적 효율성이 증명된 정책-보상 공동 사전학습

Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning

적대적 모방 학습(AIL)은 행동 복제(BC)에 비해 고품질 모방을 달성하지만, 상당한 온라인 환경 상호작용을 요구한다. 최근 실증 연구는 이 한계를 해소하기 위해 BC로 사전학습된 정책으로 AIL 알고리즘을 초기화하는 방법을 탐구해 왔으나, AIL에서 사전학습의 역할에 대한 엄밀한 이론적 이해는 여전히 부족하다. 본 논문은 AIL 가속을 위한 체계적인 이론적 분석을 제공하고 원칙적인 사전학습 알고리즘을 제안한다. 우리는 먼저 정책 사전학습만 적용한 AIL을 분석하고, 차(suboptimality)의 지배적 원인이 보상 오류임을 밝힌다. 이는 비판적이면서도 이전까지 간과되었던 공백을 드러낸다: 보상 사전학습의 부재. 이 발견에 영감을 받아, 우리는 보상 형성(reward shaping) 분석에 기반한 원칙적인 정책-보상 공동 사전학습 접근법을 개발한다. 우리의 분석은 전문가 정책과 형성 보상 사이의 근본적 연결을 밝혀내며, 이는 단일 BC 절차를 통해 정책과 보상을 공동으로 사전학습하는 접근법인 CoPT-AIL을 자연스럽게 이끌어낸다. 우리는 CoPT-AIL이 표준 AIL 대비 개선된 모방 격차(imitation gap) 상계를 달성함을 증명하고, AIL에서 사전학습의 이점에 대한 최초의 이론적 보장을 확립한다. 실험 결과는 CoPT-AIL이 기존 AIL 방법들보다 우수한 성능을 보임을 확인한다.