PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.27079v2cs.LG

신뢰 영역 Q 수반 매칭

Trust Region Q Adjoint Matching

사전학습된 플로우 정책(flow policy)의 오프-정책(off-policy) 강화학습(reinforcement learning)은 다단계 샘플링 과정에서 발생하는 최적화 불안정성으로 인해 여전히 까다로운 문제입니다. 최근 수반 매칭을 활용한 Q-러닝(Q-learning with Adjoint Matching, QAM)은 정책 개선을 학습된 크리틱(critic) 기반의 확률적 최적 제어(stochastic optimal control, SOC) 문제로 재구성하여 이를 해결하고자 했습니다. 그러나 QAM은 작은 크리틱 오차도 지수적으로 증폭되어 종종 성능 붕괴로 이어질 수 있으므로, 크리틱 기반 개선 기법 특유의 근본적인 취약성을 내포하고 있습니다. 본 논문에서는 사영 쌍대 하강법(projected dual descent)을 통해 미세조정(fine-tuning)된 정책과 사전학습된 정책 사이의 경로 공간(path-space) KL을 적응적으로 제어하는 안정적인 오프-정책 미세조정 알고리즘인 신뢰 영역 Q 수반 매칭(Trust Region Q Adjoint Matching, TRQAM)을 소개합니다. 구체적으로, 플로우 정책의 샘플링 과정 내부에서 신뢰 영역 매개변수(parameter) $λ$를 조정하며, $λ$가 SOC 목적함수에서 경로 공간 KL의 가중치를 정확하게 부여함을 증명합니다. 그 결과, 본 제안 방법은 사전학습된 정책으로부터의 편차를 미리 정해진 KL 예산 내에서 엄격하게 제어하여 안정적인 오프-정책 강화학습을 달성할 수 있습니다. 50개의 OGBench 태스크에 대한 실험을 통해, TRQAM은 오프라인 강화학습과 오프라인-온라인 연계 강화학습 모두에서 기존 방법들의 성능을 일관되게 능가함을 보입니다. 특히 TRQAM은 오프라인 강화학습에서 68%의 전반적인 성공률을 달성하여, 46%를 기록한 가장 강력한 기준선(baseline) 대비 크게 향상된 성능을 보여줍니다.

arXiv:2606.22630v1cs.LG

Adjoint Matching을 통한 확산 정책의 확장 가능한 최대 엔트로피 강화학습

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

확산 정책(diffusion policy)은 최근 강화학습(RL)에서 복잡한 행동 분포를 표현하는 강력한 패러다임으로 부상했다. 그러나 ground-truth 데이터가 없는 상황에서는 score matching과 같은 표준 최적화 기법을 직접 적용할 수 없어 확장 가능한 학습이 어렵다는 과제로 인해, 온라인 RL에의 적용은 여전히 제한적이다. 본 연구에서는 확률적 최적 제어(stochastic optimal control)의 최근 발전을 활용하여 확산 정책을 최적화하는 고효율 알고리즘을 제안한다. 우리의 접근법은 adjoint matching에 기반하며, 이는 시뮬레이션 없는 학습을 가능하게 하고 명시적 가능도 추정이나 확산 과정에 대한 비용이 큰 역전파의 필요를 회피한다. 또한 실용적 환경에서 방법의 견고성과 안정성을 개선하는 여러 확장을 제안한다. 실험 결과는 본 접근법이 계산 오버헤드를 크게 줄이면서 경쟁력 있는 성능을 달성하여, 온라인 RL 시나리오에서 확산 정책을 더 실용적으로 만들 수 있음을 보여준다.