Meta Flow Maps는 확장 가능한 보상 정렬을 가능하게 합니다
Meta Flow Maps enable scalable reward alignment
생성 모델의 제어는 계산 비용이 매우 큽니다. 이는 보상 함수와의 최적 정렬이—추론 시간 스티어링이든 미세조정이든 상관없이—가치 함수 추정을 요구하기 때문입니다. 이 작업은 중간 상태 $x_t$와 일관된 깨끗한 데이터 $x_1$의 분포인 조건부 사후 확률 $p_{1|t}(x_1|x_t)$에 대한 접근을 필요로 하며, 이는 일반적으로 기존 방법들이 비용이 많이 드는 궤적 시뮬레이션에 의존하게 만드는 요구 사항입니다. 이러한 병목 현상을 해결하기 위해, 본 연구에서는 일관성 모델과 플로우 맵을 확률적 체제로 확장한 프레임워크인 Meta Flow Maps(MFMs)를 제안합니다. MFMs는 확률적 1단계 사후 샘플링을 수행하도록 학습되며, 이를 통해 임의의 중간 상태에서 깨끗한 데이터 $x_1$의 임의의 개수만큼 독립 동일 분포(i.i.d.) 샘플을 생성할 수 있습니다. 중요하게도, 이러한 샘플들은 효율적인 가치 함수 추정을 가능하게 하는 미분 가능한 재매개변화를 제공합니다. 우리는 이러한 기능을 활용하여 두 가지 패러다임의 병목 현상을 해결합니다. 즉, 내부 롤아웃 없이 추론 시간 스티어링을 가능하게 하고, 일반적인 보상에 대한 무편향한 오프-정책 미세조정을 용이하게 합니다. 실험 결과, 우리의 단일 입자 스티어링-MFM 샘플러는 ImageNet에서 다양한 보상에 대해 Best-of-1000 기준선보다 적은 연산량으로 더 우수한 성능을 보였습니다.