Unpriortized Autoencoder For Image Generation
원문 초록
In this paper, we treat the image generation task using an autoencoder, a representative latent model. Unlike many studies regularizing the latent variable's distribution by assuming a manually specified prior, we approach the image generation task using an autoencoder by directly estimating the latent distribution. To this end, we introduce 'latent density estimator' which captures latent distribution explicitly and propose its structure. Through experiments, we show that our generative model generates images with the improved visual quality compared to previous autoencoder-based generative models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion
MintFlow: 제약 조건 기반 플로우 매칭을 위한 최소 궤적 개입
MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching
플로우 매칭(Flow matching) 모델은 생성 모델링에서 뛰어난 성능을 보이며, 수많은 다운스트림 응용 분야에서는 생성된 샘플이 관측된 측정값이나 물리 법칙과 같은 규정된 제약 조건을 만족하도록 요구합니다. 그러나 기존의 제약 조건 기반 샘플러는 흔히 상충 관계(trade-off)에 직면합니다. 즉, 제약 조건을 강제하면 사전학습된 데이터 분포로부터 샘플이 크게 벗어날 수 있습니다. 이러한 상충 관계를 해결하기 위해, 본 논문에서는 사전학습된 플로우 궤적에 대한 최소한의 개입으로 제약 조건 강제를 공식화하는 학습 불필요(training-free) 제약 조건 기반 샘플링 프레임워크인 MintFlow를 제안합니다. MintFlow는 사전학습된 플로우 필드 하에서 이후의 상태 변화가 목표 제약 조건을 만족하도록 중간 플로우 상태의 최소 섭동(perturbation)을 탐색합니다. 사전학습된 플로우 필드를 변경하지 않고 유지하면서 플로우 상태를 최소한으로 섭동시킴으로써, MintFlow는 사전학습된 분포로부터의 불필요한 이탈을 최소화하면서 제약 조건을 강제합니다. 또한 수반 공식화(adjoint formulation)를 통해 이 섭동에 대한 닫힌 형식 표현(closed-form expression)을 도출하여 비용이 많이 드는 반복적 최적화를 배제합니다. 나아가 MintFlow는 필요한 섭동 크기와 잔여 플로우에 의한 증폭 사이의 균형을 맞추기 위해 개입 시점을 적응적으로 선택합니다. 생성형 비전 및 물리 시스템 모델링의 다양한 태스크 전반에 걸쳐, MintFlow는 경쟁력 있는 수준으로 제약 조건을 만족하는 동시에 최신 제약 조건 기반 기법들보다 사전학습된 생성 분포를 훨씬 더 잘 보존합니다.
확산 모델과 개념 형성
Diffusion Models and Concept Formation
인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.
Lyapunov 가이던스: 생성형 플로우 안정화를 위한 통합 프레임워크
Lyapunov Guidance: A Unified Framework for Stabilizing Generative Flows
플로우 매칭(flow matching)은 복잡한 데이터 분포를 학습하는 효과적인 프레임워크로 부상했지만, 사전학습된 플로우 모델을 새로운 과제에 적응시키려면 계산 비용이 큰 재학습이 필요한 경우가 많다. 사후 학습 가이던스는 더 효율적인 대안을 제공하지만, 기존 방법들은 대체로 휴리스틱에 의존하며 명시적인 안정성 보장을 제공하지 않는다. 우리는 LyaGuide를 제안하여 이 한계를 해결한다. LyaGuide는 플로우 가이던스를 Lyapunov 제어 문제로 공식화하는 통합 Lyapunov 기반 프레임워크이다. 주요 이론적 결과로, 가이드된 플로우 매칭과 Lyapunov 제어 사이의 동치성을 확립하여 분류기 가이던스, 보상 가이던스, 에너지 기반 가이던스와 같은 일반적인 가이던스 전략을 단일 제어 이론적 프레임워크 안에서 통합한다. Lyapunov 조건을 충족하기 위해 폐형(closed-form) 표현을 갖는 의사 투영(pseudo-projection) 연산자를 도입하여, 학습되거나 휴리스틱인 가이던스 항에 명시적 안정성 보장을 부여한다. LyaGuide는 두 가지 실용적 설정을 지원한다: 목표 가이던스 분포가 알려진 Lyapunov 함수를 통해 지정되는 모델 기반 설정과, 가이던스가 과제별 다운스트림 데이터로부터 적응되는 데이터 기반 설정이다. LyaGuide는 기존 가이던스 방법과 호환되며 추가 계산 오버헤드를 최소화하고, 실무에서 통합하기 간단하다. 합성 벤치마크, 이미지 역문제, 강화학습 계획, 에너지 기반 모델링에 대한 광범위한 실험은 계산 효율성을 유지하면서 샘플 품질, 가이던스 충실도, 견고성에서 일관된 개선을 보여준다.
무작위 클럭을 통한 Heavy-Tailed Flow Matching
Heavy-Tailed Flow Matching via Random Clocks
heavy-tailed(꼬리분포가 두꺼운) 데이터는 드문 사건이 불균형적으로 큰 중요도를 갖는 다양한 영역에서 나타나며, 불균형 이미지 데이터셋, 금융 수익률, 극한 기상 현상 등이 그 예이다. 표준 디퓨전(diffusion) 및 플로우 매칭(flow matching) 모델은 일반적으로 가우시안 노이즈 또는 가우시안 소스 분포에서 시작하는데, 이는 다루기 쉬운 학습 목표를 제공하지만 heavy-tailed 데이터에 대한 귀납적(inductive) 적합성은 낮다. 본 논문은 heavy-tailed 소스를 클럭 조건 가우시안 소스의 혼합으로 표현하는 프레임워크인 무작위 클럭을 통한 Heavy-Tailed Flow Matching(HTFM)을 제안한다. 주어진 클럭 경로에 조건을 걸면 소스 분포와 플로우는 가우시안이 되며, 클럭에 대해 주변화(marginalizing)하면 가우시안, $α$-stable, Student-t 계열을 포괄하는 가우시안 스케일 혼합(Gaussian scale mixture)이 된다. 클럭 조건 벡터 필드를 실용적으로 만들기 위해, 경로 값을 갖는 클럭을 truncated logsignature 특징으로 인코딩하여 속도 필드가 실현된 조건부 공간에 미미한 오버헤드로 적응할 수 있게 한다. 2D 불균형 $α$-stable 혼합, CIFAR10-LT, HRRR 기상 필드에 대한 실험에서 HTFM은 가우시안 플로우 매칭 및 경쟁력 있는 heavy-tailed 베이스라인 대비 모드 커버리지, 샘플 품질, 꼬리 통계량 복원을 개선하면서 플로우 매칭의 낮은 NFE 샘플링 이점을 유지한다. 또한 무작위 클럭 공식화는 실용적인 꼬리 제어 인터페이스를 추가로 제공한다: 클럭 법칙 또는 꼬리 매개변수만 변화시키면 동일한 아키텍처가 서로 다른 분포 계열에 걸쳐 생성된 꼬리의 ``무거움(heaviness)''을 보정할 수 있다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.