arXiv:2609.27033v1 cs.LG

WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습

WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps

Abbas Mammadov, Jerry Y. Huang, Justin Lin, Partha Kaushik, Sheel Shah, Kartik Nair, Yee Whye Teh, Nicholas M. Boffi

제출 2026-09-24

한국어 초록

보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.

원문 초록

Reward fine-tuning aims to update a pre-trained flow-based generative model to improve the downstream reward of its generated samples. Existing methods typically formulate this problem as sampling from a reward-tilted distribution, the solution to a KL-regularized reward-maximization problem. Here, we introduce an optimal transport regularizer built directly from the pre-trained drift. Unlike KL reward tilting, the resulting objective transports individual samples toward higher reward rather than reweighting the base distribution. We show that the resulting problem is equivalent to a deterministic optimal control problem on the flow. Given a pre-trained flow map, this equivalence yields a simulation-free reinforcement learning algorithm for fine-tuning generative flows. We call the resulting framework Wasserstein-Tilted Flow Maps (WTF), the first end-to-end fine-tuning recipe native to flow maps. The output is a fine-tuned flow map that retains strong reward-aligned performance at few-step inference budgets without post-hoc distillation. Experiments on ImageNet-256 and text-to-image show that WTF achieves higher reward with comparable or higher diversity than baselines, while requiring up to $280\times$ less training compute. More broadly, we argue that accelerated samplers such as flow maps are essential infrastructure for efficient post-training, and that the dominant KL-regularized formulation is only one of many choices worth revisiting.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27033v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Diversity, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.02372v1cs.AI공통 태그 Image Generation, Diversity, Text-to-Image Generation

텍스트-이미지 확산 모델에서 만족도-다양성 프론티어 탐색

Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion

텍스트-이미지 생성(Text-to-image generation)은 사용자가 동일한 프롬프트(prompt)로부터 생성된 여러 이미지를 탐색할 수 있도록 돕습니다. 생성된 이미지들이 유용하기 위해서는, 각 이미지가 학습된 보상(reward)으로 측정되는 사용자의 선호도를 반영해야 할 뿐만 아니라 다양성을 유지하기 위해 서로 시각적으로 달라야 합니다. 기존 방법들은 한계가 존재하는데, 보상과 다양성을 개별적으로 다루거나 단일 종합 점수로 결합하여 높은 다양성이 낮은 보상을 상쇄하도록 만듭니다. 본 논문에서는 생성을 만족화(satisficing) 문제로 정식화하여 이러한 한계를 해결합니다. 즉, 모든 이미지(후보군)는 보상 하한선을 만족해야 하며 이미지 배치(batch)는 다양성 기준선을 만족해야 합니다. 보상 하한선은 최악 후보의 보상과 배치 다양성 사이의 균형을 조절하며, 우리는 이 하한선을 변경함으로써 파레토 프론티어(Pareto frontier)가 정의됨을 보여줍니다. 이 프론티어를 탐색하기 위해, 별도의 학습(training)이 필요 없는 추론(inference) 시점 기법인 SatisDive를 제안합니다. SatisDive는 배치 상대적 보상 기준값을 사용하여 보상이 낮은 후보와 높은 후보를 구분하고, 기준값 미만인 후보에 대해서는 보상 향상을, 기준값 이상인 후보들 간에는 다양성을 강조합니다. Pick-a-Pic에서 동일한 DreamSim 수준일 때, SatisDive는 기본 모델로 FLUX.1-dev와 보상으로 HPSv3를 사용했을 때 FK steering 대비 최악 후보의 보상을 최대 0.43 향상시켰으며, 기본 모델로 SANA-1.6B와 보상으로 ImageReward를 사용했을 때는 최대 0.70 향상시켰습니다. 더 나아가, 겹치는 DreamSim 범위 전반에 걸쳐 SatisDive의 만족도-다양성 곡선은 각 설정에서 FK steering의 곡선을 파레토 지배(Pareto-dominate)합니다.

arXiv:2610.03577v1cs.CV공통 태그 Image Generation, Computational Efficiency, Text-to-Image Generation

소수 스텝 확산 트랜스포머에서 무엇을 캐싱할 것인가에 대한 재고: 솔버 인식 기반 대상 선택

Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection

확산 트랜스포머(Diffusion Transformer, DiT)는 고품질 이미지와 비디오를 생성할 수 있지만, 각 샘플을 생성하려면 비용이 많이 드는 DiT 순전파(forward pass)를 여러 번 수행해야 합니다. DiT 샘플링을 가속화하는 두 가지 일반적인 방법은 샘플링 스텝 수를 줄이는 스텝 증류(step distillation)와, 이전 스텝에서 계산된 텐서(tensor)를 재사용하여 일부 DiT 연산을 건너뛰는 캐싱(caching)입니다. 대부분의 캐싱 방법은 재사용할 텐서를 사전에 결정합니다. 증류 후에는 인접한 샘플링 스텝 간의 간격이 더 넓어집니다. 이렇게 더 넓어진 간격에 걸쳐 텐서를 재사용하면 더 많은 오차가 발생하므로, 무엇을 캐싱할지 선택하는 것이 특히 중요해집니다. 따라서 본 연구에서는 주어진 모델(model), 솔버(solver), 재사용 스케줄에 맞춰 캐싱할 텐서를 선택하는 방법인 AutoTarget을 소개합니다. AutoTarget은 캐시 재사용이 없는 소수의 실행을 사용하여 각 후보 텐서를 재사용할 때 발생하는 오차를 측정한 다음, 가장 낮은 오차를 보이는 후보를 선택합니다. 또한 단일 재사용 스텝의 오차가 최종 샘플에 어떤 영향을 미치는지 분석합니다. 오일러(Euler) 샘플링의 경우 동일한 궤적을 생성하는 캐시 대상을 식별하고, 저장된 솔버 업데이트가 그렇지 못할 수 있는 이유를 보여줍니다. 증류된 이미지 및 비디오 DiT에 대한 실험을 통해 최적의 캐시 대상이 모델, 이미지 해상도, 솔버에 따라 달라짐을 확인했습니다. AutoTarget은 DiT 연산 횟수와 유지되는 캐시 저장 공간을 줄입니다. 생성 품질은 캐싱을 사용하지 않은 해당 실행과 가깝게 유지됩니다. 테스트된 PixArt-LCM 및 FLUX.1-schnell 설정에서 AutoTarget의 캘리브레이션 순위는 별도로 분리된 캐시 실행의 순위와 일치합니다. 재현을 돕기 위해 핵심 구현체를 GitHub(https://github.com/wali1024-offical/AutoTarget)에 제공합니다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

arXiv:2610.13502v1cs.CV공통 태그 Image Generation, Text-to-Image Generation

Stride: 인포그래픽 생성을 위한 스케일 인식 다중 에이전트 진화적 정제

Stride: Scale-Aware Multi-Agent Evolutionary Refinement for Infographic Generation

단일 이미지가 수많은 시각적, 텍스트적, 의미론적 제약 조건을 만족해야 하므로 인포그래픽 생성은 텍스트-투-이미지(text-to-image) 모델에 큰 도전 과제가 됩니다. 멀티모달 검증기(verifier)를 활용한 반복적 에이전트(agent) 정제는 자연스러운 해결책이지만, 기존 방법들은 스케일 불일치(scale mismatch) 문제에 직면합니다. 즉, 국소적 편집으로는 전역적 구성 오류를 바로잡을 수 없으며, 전체 재생성은 이미 올바른 영역을 훼손할 수 있습니다. 본 논문에서는 고정된(frozen) 임의의 생성기 상에서의 정제 과정을 이력 인식(history-aware) 진화 전략으로 취급하는 제약 조건 그라운딩(constraint-grounded) 다중 에이전트 프레임워크인 Stride를 소개합니다. Stride는 각 요구사항의 충족 여부를 판단하는 제약 조건 평가와 위반 위치 및 방식을 파악하는 시각적 그라운딩을 분리합니다. 그런 다음 전역적 수정은 컴포저(composer) 하위 에이전트로, 국소적 교정은 리터처(retoucher) 하위 에이전트로 라우팅합니다. 각 하위 에이전트는 내부 계획을 수립하고 여러 후보를 생성하며, Stride는 검증기 점수를 향상시킬 때만 후보를 수락하여 반복 과정 전반에서의 성능 저하(regression)를 줄입니다. 확률적 생성기와 불완전한 검증기로 인해 단일 단계는 신뢰하기 어려우므로, 반복 과정에서 안정적인 성능 향상을 이끌어내는 것은 바로 이러한 스케일 인식 라우팅, 단계별 중복성, 단조 수락(monotonic acceptance)의 결합입니다. 완전한 오픈 가중치(open-weight) 생성기-검증기 시스템을 갖춘 Stride는 BizGenEval에서 Nano-Banana-2.0 및 Seedream-5.0-Pro를 포함한 독점 시스템을 능가하고, IGenBench에서는 GPT-Image-2.0과 동등한 성능을 보이며 Seedream-5.0-Pro를 능가하고, WISE에서는 새로운 최고 성능(state-of-the-art) 점수를 달성하는 동시에 평가된 모든 벤치마크 전반에서 기존 에이전트 기반 방법들을 크게 능가합니다.

arXiv:2610.13941v1cs.CV공통 태그 Image Generation, Text-to-Image Generation

이미지가 말을 걸어온다: 이미지-투-텍스트 피드백 억제를 통한 MMDiT 가이딩

Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback

멀티모달 디퓨전 트랜스포머(MMDiT)는 조인트 어텐션을 통해 진화하는 이미지가 내부 텍스트 표현을 갱신할 수 있도록 한다. 이렇게 갱신된 표현은 이후의 이미지 업데이트를 가이드하는데, 이는 다음과 같은 질문을 제기한다: 이 피드백은 프롬프트로부터의 이탈을 교정하는 데 도움을 주는가, 아니면 그것을 그대로 보존하는가? 우리는 이미지-투-텍스트(I2T) 피드백이 진화하는 이미지에 이미 표현된 객체와 속성을, 오류를 포함하여 그대로 보존할 수 있음을 발견했다. I2T 메시지를 이식(transplant)하면 실패를 구제하거나 성공을 무너뜨릴 수 있다. 동일한 강도의 개입에서, I2T 피드백의 영향을 억제하면 생성 결과가 개선되는 반면, 반대 방향의 제어는 이를 저하시킨다. 이러한 발견은 시맨틱 피드백 가이던스(Semantic Feedback Guidance, SFG)를 제안하는 동기가 되었는데, 이는 이 피드백을 강화하고 텍스트-투-이미지 컨디셔닝을 약화시키는 보조 분기(auxiliary branch)로부터 멀어지도록 가이드함으로써 I2T 피드백의 영향을 억제한다. 제자리(in-place) 변형인 iSFG는 추가적인 모델 평가 없이 I2T 피드백을 직접 억제하고 텍스트-투-이미지 컨디셔닝을 강화한다. 시간적 개입(temporal intervention)에 대한 분석은 이미지 샘플링 단계의 처음 20% 동안 SFG 분기를 실행하도록 유도하며, 이는 분류자 없는 가이던스(classifier-free guidance, CFG) 없이 기본 NFE의 약 1.2배를 필요로 한다. 세 가지 이미지 생성 백본에 대한 실험에서 정합성(alignment) 및 선호도 모델(preference-model) 점수가 향상되었음을 보여준다. FLUX에서는 CFG에 SFG를 추가하면 GenEval이 0.6661에서 0.7479로 상승하며, SD3.5M에서는 iSFG가 추가 NFE 없이 CFG 대비 HPSv2.1을 +1.33 향상시킨다. 이 제어 기법은 텍스트-투-비디오 및 이미지-투-비디오 생성에도 전이되어 VBench 점수를 향상시킨다. 코드는 https://github.com/yyc1215lll-creator/SFG 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.