신뢰 영역 Q 수반 매칭
Trust Region Q Adjoint Matching
사전학습된 플로우 정책(flow policy)의 오프-정책(off-policy) 강화학습(reinforcement learning)은 다단계 샘플링 과정에서 발생하는 최적화 불안정성으로 인해 여전히 까다로운 문제입니다. 최근 수반 매칭을 활용한 Q-러닝(Q-learning with Adjoint Matching, QAM)은 정책 개선을 학습된 크리틱(critic) 기반의 확률적 최적 제어(stochastic optimal control, SOC) 문제로 재구성하여 이를 해결하고자 했습니다. 그러나 QAM은 작은 크리틱 오차도 지수적으로 증폭되어 종종 성능 붕괴로 이어질 수 있으므로, 크리틱 기반 개선 기법 특유의 근본적인 취약성을 내포하고 있습니다. 본 논문에서는 사영 쌍대 하강법(projected dual descent)을 통해 미세조정(fine-tuning)된 정책과 사전학습된 정책 사이의 경로 공간(path-space) KL을 적응적으로 제어하는 안정적인 오프-정책 미세조정 알고리즘인 신뢰 영역 Q 수반 매칭(Trust Region Q Adjoint Matching, TRQAM)을 소개합니다. 구체적으로, 플로우 정책의 샘플링 과정 내부에서 신뢰 영역 매개변수(parameter) $λ$를 조정하며, $λ$가 SOC 목적함수에서 경로 공간 KL의 가중치를 정확하게 부여함을 증명합니다. 그 결과, 본 제안 방법은 사전학습된 정책으로부터의 편차를 미리 정해진 KL 예산 내에서 엄격하게 제어하여 안정적인 오프-정책 강화학습을 달성할 수 있습니다. 50개의 OGBench 태스크에 대한 실험을 통해, TRQAM은 오프라인 강화학습과 오프라인-온라인 연계 강화학습 모두에서 기존 방법들의 성능을 일관되게 능가함을 보입니다. 특히 TRQAM은 오프라인 강화학습에서 68%의 전반적인 성공률을 달성하여, 46%를 기록한 가장 강력한 기준선(baseline) 대비 크게 향상된 성능을 보여줍니다.