GRPO 자기회귀 텍스트-이미지 사후 학습에서 성능과 다양성의 균형
Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training
자기회귀(autoregressive) 텍스트-이미지(T2I) 생성은 최근 빠르게 발전했지만, 생성된 이미지를 인간 선호에 정렬(alignment)하는 것은 여전히 어려운 과제로 남아 있다. GRPO 스타일의 온라인 강화학습은 효과적인 프레임워크를 제공하지만, 기존 방법들은 정책 최적화에 직접적인 영향을 미침에도 불구하고 일반적으로 참조 정책(reference policy) 발산(divergence)을 고정값으로 취급한다. 우리는 GRPO 스타일 자기회귀 T2I 정렬을 위해 순방향 KL, 역방향 KL, JS 발산(divergence)을 포괄하는 통합 f-발산(f-divergence) 프레임워크 내에서 이 간과된 요인을 연구한다. 체계적인 이론 분석을 통해 서로 다른 발산이 토큰 수준 업데이트를 각기 다른 방식으로 재형성함을 밝혔다. 특히 사용된 샘플링 토큰 셰이핑(sampled-token shaping) 형태 하에서, JS 정규화는 큰 이탈을 억제하면서도 참조 정책 대비 균일(uniform) 바이어스를 완화함으로써 유리한 절충을 이룬다. LlamaGen과 Janus-7B에 대한 광범위한 실험 결과, JS 발산은 유리한 생성 다양성을 유지하면서 대부분의 평가 지표에서 최고 또는 매우 경쟁력 있는 최적화 성능을 달성함을 보여준다. 코드는 https://github.com/tuoyou-hao/BPD-GRPO 에서 이용할 수 있다.