Optimizing Visual Generative Models via Distribution-wise Rewards
시각적 생성 모델의 강화학습(RL) 파인튜닝에서 샘플 단위 보상 함수가 초래하는 보상 해킹(reward hacking)과 모드 붕괴 문제를 해결하기 위해, FID를 분포 단위 보상 신호로 활용하는 새로운 프레임워크를 제안한다. 생성된 참조 집합의 일부만 교체하는 subset-replace 전략으로 계산 비용을 줄이고, SDE 기반 학습과 ODE 기반 추론 간의 불일치를 해소하기 위해 사후 모델 병합 계수를 RL로 최적화하여 SiT의 FID-50K를 8.30→5.77, EDM2는 3.74→3.52로 개선했다.