The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL
스코어 매칭(Score Matching) 및 플로우 매칭(Flow Matching) 모델은 종종 두 가지 목적을 위해 선호 기반 강화학습(RL)에 의존합니다: 주관적 선호와의 정렬, 그리고 놀랍게도 매칭 기반 학습이 데이터 자체에서 학습하도록 의도된 시각적 사실성 및 일관된 객체 구조와 같은 속성을 복원하는 것입니다. 우리는 이것이 구조적 불일치(structural mismatch)를 반영한다고 주장합니다. 매칭 손실은 학습 시간 주변 분포(training-time marginals) 하에서 속도 또는 스코어 필드에 대한 $\ell_2$ 회귀 오차를 측정하는데, 이는 추론 시 샘플 품질을 결정하는 시각적 및 의미론적 속성과 잘 정렬되지 않는 대리 지표(proxy)입니다. 이러한 속성과 정렬된 보상이 주어지면, 강화학습(RL)은 모델 자체의 샘플에서 모델을 평가하고 보상 지형을 직접 따름으로써 불일치를 우회합니다. 문제는 비용이 많이 들고 데이터 사실성을 주석자의 성향과 혼동하는 인간 선호에 의존하지 않고 그러한 보상을 얻는 것입니다. 우리는 판별자-안내 강화학습(Discriminator-Guided RL, DRL)을 제안합니다. DRL은 사전학습된 표현 공간(pretrained representation space)에서 데이터를 기본 모델(base-model) 샘플로부터 분리하도록 판별자를 학습시키고, KL 정규화 강화학습(RL)에서 해당 로짓을 보상으로 사용합니다. 사전학습된 공간은 판별자를 지각적으로 의미 있는 방향으로 제한하며, 로짓은 데이터와 모델 사이의 로그 가능도 비율(log-likelihood ratio)을 추정하는데, 이는 데이터 분포를 목표로 하는 최적의 보상입니다. SiT, JiT, REPA, RAE에 걸쳐, DRL은 가이던스 없는(guidance-free) FID(예: SiT에서 $9.38 \to 2.62$)와 의미 공간 FD(예: SiT의 DINOv3에서 $88.2 \to 19.3$)를 감소시켰으며, 모든 백본에서 일관된 개선을 보였고, 인간 선호 보상에 대한 학습 없이도 이를 개선했습니다. 또한 후속 선호 기반 사후 학습(post-training) 하에서 선호 보상과 이미지 충실도 사이의 더 나은 파레토 프론티어를 생성하여, 과도한 채도 및 밝기와 같은 저수준 인공물(artifacts)을 줄이면서 정렬을 증가시킵니다.