MintFlow: 제약 조건 기반 플로우 매칭을 위한 최소 궤적 개입
MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching
한국어 초록
플로우 매칭(Flow matching) 모델은 생성 모델링에서 뛰어난 성능을 보이며, 수많은 다운스트림 응용 분야에서는 생성된 샘플이 관측된 측정값이나 물리 법칙과 같은 규정된 제약 조건을 만족하도록 요구합니다. 그러나 기존의 제약 조건 기반 샘플러는 흔히 상충 관계(trade-off)에 직면합니다. 즉, 제약 조건을 강제하면 사전학습된 데이터 분포로부터 샘플이 크게 벗어날 수 있습니다. 이러한 상충 관계를 해결하기 위해, 본 논문에서는 사전학습된 플로우 궤적에 대한 최소한의 개입으로 제약 조건 강제를 공식화하는 학습 불필요(training-free) 제약 조건 기반 샘플링 프레임워크인 MintFlow를 제안합니다. MintFlow는 사전학습된 플로우 필드 하에서 이후의 상태 변화가 목표 제약 조건을 만족하도록 중간 플로우 상태의 최소 섭동(perturbation)을 탐색합니다. 사전학습된 플로우 필드를 변경하지 않고 유지하면서 플로우 상태를 최소한으로 섭동시킴으로써, MintFlow는 사전학습된 분포로부터의 불필요한 이탈을 최소화하면서 제약 조건을 강제합니다. 또한 수반 공식화(adjoint formulation)를 통해 이 섭동에 대한 닫힌 형식 표현(closed-form expression)을 도출하여 비용이 많이 드는 반복적 최적화를 배제합니다. 나아가 MintFlow는 필요한 섭동 크기와 잔여 플로우에 의한 증폭 사이의 균형을 맞추기 위해 개입 시점을 적응적으로 선택합니다. 생성형 비전 및 물리 시스템 모델링의 다양한 태스크 전반에 걸쳐, MintFlow는 경쟁력 있는 수준으로 제약 조건을 만족하는 동시에 최신 제약 조건 기반 기법들보다 사전학습된 생성 분포를 훨씬 더 잘 보존합니다.
원문 초록
Flow matching models excel at generative modeling, and many downstream applications require their samples to satisfy prescribed constraints, such as observed measurements and physical laws. However, existing constrained samplers often face a trade-off: \textit{enforcing constraints can substantially displace samples from the pretrained data distribution}. To address this trade-off, we introduce \textbf{MintFlow}, a training-free constrained sampling framework that formulates constraint enforcement as a minimal intervention on the pretrained flow trajectory. MintFlow seeks the minimal perturbation of an intermediate flow state such that its subsequent evolution under the pretrained flow field satisfies the target constraint. By minimally perturbing the flow state while keeping the pretrained flow field unchanged, MintFlow enforces the constraint while minimizing unnecessary deviation from the pretrained distribution. An adjoint formulation yields a closed-form expression for this perturbation, eliminating expensive iterative optimization. Furthermore, MintFlow adaptively selects the intervention time to balance the required perturbation magnitude with its amplification by the remaining flow. Across a range of tasks in generative vision and physical system modeling, MintFlow achieves competitive constraint satisfaction while preserving the pretrained generative distribution substantially better than state-of-the-art constrained methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.02260v2제출 시각 미확인
- arXiv:2610.02260v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Lyapunov 가이던스: 생성형 플로우 안정화를 위한 통합 프레임워크
Lyapunov Guidance: A Unified Framework for Stabilizing Generative Flows
플로우 매칭(flow matching)은 복잡한 데이터 분포를 학습하는 효과적인 프레임워크로 부상했지만, 사전학습된 플로우 모델을 새로운 과제에 적응시키려면 계산 비용이 큰 재학습이 필요한 경우가 많다. 사후 학습 가이던스는 더 효율적인 대안을 제공하지만, 기존 방법들은 대체로 휴리스틱에 의존하며 명시적인 안정성 보장을 제공하지 않는다. 우리는 LyaGuide를 제안하여 이 한계를 해결한다. LyaGuide는 플로우 가이던스를 Lyapunov 제어 문제로 공식화하는 통합 Lyapunov 기반 프레임워크이다. 주요 이론적 결과로, 가이드된 플로우 매칭과 Lyapunov 제어 사이의 동치성을 확립하여 분류기 가이던스, 보상 가이던스, 에너지 기반 가이던스와 같은 일반적인 가이던스 전략을 단일 제어 이론적 프레임워크 안에서 통합한다. Lyapunov 조건을 충족하기 위해 폐형(closed-form) 표현을 갖는 의사 투영(pseudo-projection) 연산자를 도입하여, 학습되거나 휴리스틱인 가이던스 항에 명시적 안정성 보장을 부여한다. LyaGuide는 두 가지 실용적 설정을 지원한다: 목표 가이던스 분포가 알려진 Lyapunov 함수를 통해 지정되는 모델 기반 설정과, 가이던스가 과제별 다운스트림 데이터로부터 적응되는 데이터 기반 설정이다. LyaGuide는 기존 가이던스 방법과 호환되며 추가 계산 오버헤드를 최소화하고, 실무에서 통합하기 간단하다. 합성 벤치마크, 이미지 역문제, 강화학습 계획, 에너지 기반 모델링에 대한 광범위한 실험은 계산 효율성을 유지하면서 샘플 품질, 가이던스 충실도, 견고성에서 일관된 개선을 보여준다.
무작위 클럭을 통한 Heavy-Tailed Flow Matching
Heavy-Tailed Flow Matching via Random Clocks
heavy-tailed(꼬리분포가 두꺼운) 데이터는 드문 사건이 불균형적으로 큰 중요도를 갖는 다양한 영역에서 나타나며, 불균형 이미지 데이터셋, 금융 수익률, 극한 기상 현상 등이 그 예이다. 표준 디퓨전(diffusion) 및 플로우 매칭(flow matching) 모델은 일반적으로 가우시안 노이즈 또는 가우시안 소스 분포에서 시작하는데, 이는 다루기 쉬운 학습 목표를 제공하지만 heavy-tailed 데이터에 대한 귀납적(inductive) 적합성은 낮다. 본 논문은 heavy-tailed 소스를 클럭 조건 가우시안 소스의 혼합으로 표현하는 프레임워크인 무작위 클럭을 통한 Heavy-Tailed Flow Matching(HTFM)을 제안한다. 주어진 클럭 경로에 조건을 걸면 소스 분포와 플로우는 가우시안이 되며, 클럭에 대해 주변화(marginalizing)하면 가우시안, $α$-stable, Student-t 계열을 포괄하는 가우시안 스케일 혼합(Gaussian scale mixture)이 된다. 클럭 조건 벡터 필드를 실용적으로 만들기 위해, 경로 값을 갖는 클럭을 truncated logsignature 특징으로 인코딩하여 속도 필드가 실현된 조건부 공간에 미미한 오버헤드로 적응할 수 있게 한다. 2D 불균형 $α$-stable 혼합, CIFAR10-LT, HRRR 기상 필드에 대한 실험에서 HTFM은 가우시안 플로우 매칭 및 경쟁력 있는 heavy-tailed 베이스라인 대비 모드 커버리지, 샘플 품질, 꼬리 통계량 복원을 개선하면서 플로우 매칭의 낮은 NFE 샘플링 이점을 유지한다. 또한 무작위 클럭 공식화는 실용적인 꼬리 제어 인터페이스를 추가로 제공한다: 클럭 법칙 또는 꼬리 매개변수만 변화시키면 동일한 아키텍처가 서로 다른 분포 계열에 걸쳐 생성된 꼬리의 ``무거움(heaviness)''을 보정할 수 있다.
베이즈 역문제에서 빠른 사후분포 샘플링을 위한 플로우 매칭
Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems
사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
플로우 매칭(Flow Matching)에서의 속도 스케일링
Velocity Scaling in Flow Matching
학습된 플로우 매칭(Flow Matching) 속도장(velocity field) $v_θ$에 이득(gain) $γ(t)$를 곱해 스케일링하면 생성 품질이 크게 향상된다는 것이 최근에 밝혀졌다. 선행 연구에서는 평균제곱오차(MSE)로 학습된 속도장이 속도 크기를 체계적으로 과소추정하며, 스케일링이 이 오차를 보정한다고 주장했다. 본 연구에서는 MSE 학습이 속도 크기 부족을 만들어내지 않는다는 것을 보인다. 대신 우리는 속도 스케일링이 모집단 시간 지연(population time lag)을 줄인다는 것을 발견했다: 모델 시간 $t$에서 샘플링된 상태는 그보다 이전 시간의 학습 상태와 유사하다. 속도 스케일링과 모델 시간을 뒤로 이동시키는 것은 이러한 모집단 시간 지연을 해결하는 두 가지 방법이다. 아키텍처와 모델 크기에 걸쳐, 모집단 시간 지연을 측정하고 이를 이용해 이득을 선택하면 생성 품질이 크게 향상되며, 가이던스(guidance) 없이 NFE 25에서 ImageNet-256 기준 FID를 28.0에서 12.2로 낮춘다(인접한 이득에서 측정된 FID 값들 사이의 선형 보간으로 추정됨).
플로우 맵 증류를 위한 기하학 인지 시간 재매개변수화
Geometry-Aware Time Reparameterization for Flow-Map Distillation
플로우 맵 증류(flow-map distillation)는 사전학습(pre-training)된 생성 상미분방정식(generative ODE)의 유한 시간 전이(finite-time transition)를 학습함으로써 1단계 및 소수 단계 생성을 가능하게 합니다. 본 연구에서는 교사(teacher) 모델의 시간 매개변수화를 변경하는 것이 이러한 전이 과정을 더 쉽게 학습하도록 만들 수 있는지 조사합니다. 법선 가속도(normal acceleration)가 큰 궤적 구간이 증류(distillation)하기 더 어렵다는 가설에 착안하여, 교사 모델의 기하학적 경로와 종단 분포(terminal distribution)를 보존하면서 이러한 영역에 학생(student) 모델의 시간을 더 많이 할당하는 기하학 인지(geometry-aware) 시간 재매개변수화를 제안합니다. 적절한 가정 하에 모집단 법선 가속도 통계량을 균등화하는 공유 클록(shared clock)을 유도하고, 교사 궤적 전반에 걸친 강건하고 정규화된 추정치로부터 실용적인 근사치를 구성합니다. 이 클록을 라그랑지안 플로우 맵 증류(Lagrangian flow-map distillation)에 통합하여 변환된 시간 좌표를 학생 모델의 조건으로 사용합니다. 이 클록은 증류 전에 한 번만 추정되며 교사 모델의 재학습이나 추가적인 학생 모델 파라미터, 혹은 추론(inference) 시점의 추가 네트워크 평가를 필요로 하지 않습니다. 합성 데이터, CIFAR-10, CelebA-64에 대한 실험은 동일한 추론 예산 하에서 항등 시간 증류(identity-time distillation) 대비 향상된 샘플 품질을 보여주며, 여기에는 1단계 및 2단계 이미지 생성의 성능 향상이 포함됩니다. 중간 샘플링 시간을 조정할 수 없는 1단계 생성에서의 성능 향상은 증류 과정에서 시간 재매개변수화가 제공하는 이점을 명확히 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.