arXiv:2602.01591v2 cs.CV

스텝 인식 어드밴티지를 통한 플로우 매칭 모델의 더 빠르고 향상된 정렬

Faster and Better Alignment for Flow Matching Models via Step-aware Advantages

Zhixiong Yue, Feiyang Ye, Zixuan Ni, Sheng Shen, Yu Zhang

제출 2026-02-02

한국어 초록

플로우 매칭(Flow Matching) 모델, 특히 강화학습(RL)을 활용한 최근의 발전은 퓨샷/소수 단계(few-step) 텍스트-이미지 생성기에서 인간 선호도 정렬(human preference alignment)을 크게 향상시켰습니다. 그러나 플로우 매칭 모델을 위한 기존 강화학습 기반 접근법은 일반적으로 수많은 노이즈 제거(denoising) 단계에 의존하며, 희소하고 부정확한 보상 신호로 인해 차선의 정렬 결과를 초래하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 플로우 매칭 텍스트-이미지 모델을 인간 선호도에 잘 정렬된 효율적인 소수 단계 생성기로 학습시키기 위한 새로운 프레임워크인 TAFS-GRPO(Temperature-Annealed Few-step Sampling with Group Relative Policy Optimization)를 제안합니다. 제안하는 방법은 1단계의 클린 예측에 적응형 시간 의존 노이즈를 반복적으로 주입합니다. 모델의 샘플링된 출력을 반복적으로 어닐링함으로써, 생성된 각 이미지의 의미론적 무결성을 보존하면서 샘플링 과정에 확률성을 도입합니다. 또한, 스텝 인식 어드밴티지(step-aware advantage) 통합 메커니즘은 GRPO와 온도 어닐링 샘플링을 결합하여 미분 가능한 보상 함수에 대한 필요성을 없애고 안정적인 정책 최적화(policy optimization)를 위한 조밀하고 스텝별로 특화된 보상을 제공합니다. 광범위한 실험을 통해 TAFS-GRPO가 소수 단계 텍스트-이미지 생성에서 강력한 성능을 달성하고 생성된 이미지와 인간 선호도의 정렬을 크게 향상함을 입증합니다. 본 연구의 코드와 모델은 후속 연구를 촉진하기 위해 공개될 예정입니다.

원문 초록

Recent advances in flow matching models, particularly with reinforcement learning (RL), have significantly enhanced human preference alignment in few-step text-to-image generators. However, existing RL-based approaches for flow matching models typically rely on numerous denoising steps, while suffering from sparse and imprecise reward signals that often lead to suboptimal alignment. To address these limitations, we propose Temperature-Annealed Few-step Sampling with Group Relative Policy Optimization (TAFS-GRPO), a novel framework for training flow matching text-to-image models into efficient few-step generators well aligned with human preferences. Our method iteratively injects adaptive time-dependent noise into one-step clean predictions. By repeatedly annealing the model's sampled outputs, it introduces stochasticity into the sampling process while preserving the semantic integrity of each generated image. Moreover, its step-aware advantage integration mechanism combines GRPO with temperature-annealed sampling to eliminate the need for a differentiable reward function and provide dense, step-specific rewards for stable policy optimization. Extensive experiments demonstrate that TAFS-GRPO achieves strong performance in few-step text-to-image generation and significantly improves the alignment of generated images with human preferences. The code and models of this work will be available to facilitate further research.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.01591v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.