보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.
Flow 기반 생성 모델은 연속 및 이산 상태 공간 전반에서 빠르고 제어 가능한 생성의 놀라운 진전을 가능하게 해 왔지만, 기존 매개변수화는 고정 차원 또는 고정 시퀀스 길이로 제한된다. 본 연구에서는 조건부 노이즈로 상태를 보강하여 상태를 확장하는 확장 보간(expanding interpolant)을 따라 차원이 증가하는 분포들 사이의 flow를 정의하는 Expanding Generative Flows(EFlows)를 소개한다. 이 구성을 바탕으로, 확장 보간을 효율적인 소수 단계(few-step) 생성 모델로 증류(distillation)하는 flow map의 새로운 클래스인 Expanding Flow Maps(EFMs)를 제안한다. 각 EFM은 임의의 두 시간 단계 사이의 map을 두 가지 학습 가능한 연산으로 분해한다: 현재 상태를 조건으로 상태 공간에 새로운 좌표 또는 토큰(token)을 보강하는 확장 연산자(expand operator), 그리고 확장된 상태를 보간(interpolant)을 따라 앞으로 밀어주는 수송 map(transport map). 이 연산자들을 조합하면 상태를 동시에 확장하고 디노이징(denoise)하는 단일 map이 되며, 확장 연산자가 항등(identity)인 특수한 경우로 기존의 고정 캔버스(fixed-canvas) flow 및 flow map을 복원한다. 또한 프레임워크를 이산 심플렉스(discrete simplex)로 확장하여 가변 크기 그래프 생성과 가변 길이 시퀀스 생성을 가능하게 한다. 연속 및 이산 양식(modality) 모두에서, 출력 크기 자체가 학습 가능하고 제어 가능한 자유도인 설정을 위한 원칙적인 프레임워크로 EFlows와 EFMs를 확립한다.
생성 모델의 제어는 계산 비용이 매우 큽니다. 이는 보상 함수와의 최적 정렬이—추론 시간 스티어링이든 미세조정이든 상관없이—가치 함수 추정을 요구하기 때문입니다. 이 작업은 중간 상태 $x_t$와 일관된 깨끗한 데이터 $x_1$의 분포인 조건부 사후 확률 $p_{1|t}(x_1|x_t)$에 대한 접근을 필요로 하며, 이는 일반적으로 기존 방법들이 비용이 많이 드는 궤적 시뮬레이션에 의존하게 만드는 요구 사항입니다. 이러한 병목 현상을 해결하기 위해, 본 연구에서는 일관성 모델과 플로우 맵을 확률적 체제로 확장한 프레임워크인 Meta Flow Maps(MFMs)를 제안합니다. MFMs는 확률적 1단계 사후 샘플링을 수행하도록 학습되며, 이를 통해 임의의 중간 상태에서 깨끗한 데이터 $x_1$의 임의의 개수만큼 독립 동일 분포(i.i.d.) 샘플을 생성할 수 있습니다. 중요하게도, 이러한 샘플들은 효율적인 가치 함수 추정을 가능하게 하는 미분 가능한 재매개변화를 제공합니다. 우리는 이러한 기능을 활용하여 두 가지 패러다임의 병목 현상을 해결합니다. 즉, 내부 롤아웃 없이 추론 시간 스티어링을 가능하게 하고, 일반적인 보상에 대한 무편향한 오프-정책 미세조정을 용이하게 합니다. 실험 결과, 우리의 단일 입자 스티어링-MFM 샘플러는 ImageNet에서 다양한 보상에 대해 Best-of-1000 기준선보다 적은 연산량으로 더 우수한 성능을 보였습니다.