PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.09291v2cs.LG

dFlowGRPO: 이산 플로우 모델을 위한 전이율 인식 정책 최적화

dFlowGRPO: Rate-Aware Policy Optimization for Discrete Flow Models

이산 플로우 모델(DFM)은 이산 데이터를 생성하기 위한 유연한 생성 모델(generative model)의 일종이며, 확산 대규모 언어 모델(dLLM)은 혼합 경로와 마스킹된 소스 분포를 특수하게 선택한 특별한 경우로 볼 수 있습니다. 최근 몇몇 연구에서 dLLM을 위한 강화학습을 탐색했으나, 보다 일반적인 이산 플로우 모델에 대한 적용은 아직 충분히 연구되지 않았습니다. 본 연구에서는 광범위한 확률 경로 계열과 비마스킹 소스 분포를 지원하는 이산 플로우 모델용 통합 강화학습 프레임워크인 discrete Flow-GRPO(dFlowGRPO)를 제시합니다. 저자들은 DFM에 대한 전체 궤적 확률을 유도하고 노이즈 제거 과정을 마르코프 결정 과정으로 공식화하여, dFlowGRPO가 강화학습 동안 관련된 조건부 전이율(conditional transition rate)과 사후 모델(posterior model)의 정보를 모두 통합할 수 있도록 합니다. 최근의 멀티모달 이산 플로우 모델인 FUDOKI에 dFlowGRPO를 적용하고 이미지 생성 및 멀티모달 이해 태스크 모두에서 이를 평가합니다. 실험 결과에 따르면 dFlowGRPO는 텍스트-이미지 생성 태스크에서 기존 dLLM용 GRPO 계열 방식보다 우수한 성능을 보이며, Flow-GRPO로 학습된 연속 플로우 기반 모델과 경쟁력 있는 성능을 달성하는 동시에 이해 태스크에서도 강력한 능력을 입증합니다.