PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22630v1cs.LG

Adjoint Matching을 통한 확산 정책의 확장 가능한 최대 엔트로피 강화학습

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

확산 정책(diffusion policy)은 최근 강화학습(RL)에서 복잡한 행동 분포를 표현하는 강력한 패러다임으로 부상했다. 그러나 ground-truth 데이터가 없는 상황에서는 score matching과 같은 표준 최적화 기법을 직접 적용할 수 없어 확장 가능한 학습이 어렵다는 과제로 인해, 온라인 RL에의 적용은 여전히 제한적이다. 본 연구에서는 확률적 최적 제어(stochastic optimal control)의 최근 발전을 활용하여 확산 정책을 최적화하는 고효율 알고리즘을 제안한다. 우리의 접근법은 adjoint matching에 기반하며, 이는 시뮬레이션 없는 학습을 가능하게 하고 명시적 가능도 추정이나 확산 과정에 대한 비용이 큰 역전파의 필요를 회피한다. 또한 실용적 환경에서 방법의 견고성과 안정성을 개선하는 여러 확장을 제안한다. 실험 결과는 본 접근법이 계산 오버헤드를 크게 줄이면서 경쟁력 있는 성능을 달성하여, 온라인 RL 시나리오에서 확산 정책을 더 실용적으로 만들 수 있음을 보여준다.