GenPO++: 야코비안 자유 가능도 비율을 이용한 생성형 정책 최적화
GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios
생성형 정책은 표현력이 풍부하고 다중 모드(multimodal) 행동 분포를 제공하여, 복잡한 연속 제어 작업에서의 강화학습(RL)에 매력적입니다. 그중에서도 플로우 기반 정책은 결정론적 전도 맵(transport maps)을 통해 행동을 생성하기 때문에 특히 매력적입니다. 그러나 이러한 생성형 정책을 가능도 기반 온-정책(on-policy) 학습에 적용하는 것은 실행된 행동의 확률을 평가하는 어려움으로 인해 제한적입니다. 기존 플로우 강화학습(RL) 방법론들은 실제 행동 밀도 비율을 근사 대체물로 대체하여 편향된(biased) 업데이트를 유발하거나, 더미 행동 증강을 통해 정확한 가능도를 복원하여 정책 공간을 확대하고 계산량을 증가시킵니다. 본 연구에서는 고차 가역적 ODE 솔버에서 과거 상태를 보조 메모리로 사용하는 가역적 생성형 정책 최적화 프레임워크인 GenPO++를 제안합니다. 이는 원래 행동 차원을 변경하지 않고 정확한 역변환을 가능하게 합니다. 결과적으로 생성된 정책 맵은 고정된 솔버 계수에 의해서만 결정되는 로그-행렬식(log-determinant)을 가지며, 이를 통해 정확하고 야코비안 자유(Jacobian-free) 가능도 비율 계산이 가능해집니다. 이 설계는 생성형 플로우 정책의 표현력을 보존하면서 행동 비율 바이어스(bias)와 더미 행동 오버헤드를 모두 피합니다. 우리는 대규모 시뮬레이션 제어, 미세조정(fine-tuning), 실제 로봇 조작 작업에서 GenPO++를 평가했으며, 여기서 학습 안정성과 계산 효율성을 향상시키면서 최첨단 온-정책(on-policy) 강화학습(RL) 방법론 대비 경쟁력 있거나 우수한 성능을 달성했습니다.