NoiseCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions in Diffusion Models
원문 초록
Generative models have been very popular in the recent years for their image generation capabilities. GAN-based models are highly regarded for their disentangled latent space, which is a key feature contributing to their success in controlled image editing. On the other hand, diffusion models have emerged as powerful tools for generating high-quality images. However, the latent space of diffusion models is not as thoroughly explored or understood. Existing methods that aim to explore the latent space of diffusion models usually relies on text prompts to pinpoint specific semantics. However, this approach may be restrictive in areas such as art, fashion, or specialized fields like medicine, where suitable text prompts might not be available or easy to conceive thus limiting the scope of existing work. In this paper, we propose an unsupervised method to discover latent semantics in text-to-image diffusion models without relying on text prompts. Our method takes a small set of unlabeled images from specific domains, such as faces or cats, and a pre-trained diffusion model, and discovers diverse semantics in unsupervised fashion using a contrastive learning objective. Moreover, the learned directions can be applied simultaneously, either within the same domain (such as various types of facial edits) or across different domains (such as applying cat and face edits within the same image) without interfering with each other. Our extensive experiments show that our method achieves highly disentangled edits, outperforming existing approaches in both diffusion-based and GAN-based latent space editing methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
대조적 궤적 반발을 통한 더 부드러운 플로우 매칭
Smoother Flow Matching via Contrastive Trajectory Repulsion
궤적 교차(trajectory crossing)는 플로우 매칭(Flow Matching, FM)에서 여전히 중요한 병목 현상으로 남아 있으며, 이전 연구들은 일반적으로 이러한 교차를 속도 평균화(velocity averaging)를 유발하는 이론적 최적화(optimization) 관점에서 바라보았습니다. 이들은 중간 궤적을 명시적으로 조절하지 않고 사후 증류(distillation)나 종점 결합(endpoint coupling)을 통해 이를 간접적으로 해결하고자 했습니다. 본 논문에서는 새로운 네트워크 학습(training) 관점을 제시합니다. 즉, 교차점은 본질적으로 목표 속도장(velocity field)에서 큰 국소 립시츠 상수(local Lipschitz constant)를 유발하며, 이는 두 가지 단점으로 이어집니다. 첫째, 높은 립시츠 상수는 신경망이 스펙트럼 바이어스(spectral bias)로 인해 적합(fit)하기 어려워하는 속도장의 고주파 신호에 해당합니다. 둘째, 이는 급격한 속도 변화를 의미하기도 하여 소수 단계 추론(inference)에서 심각한 수치 적분 오차를 초래합니다. 이를 완화하기 위해, 학습 중에 궤적을 명시적으로 밀어내어 속도장의 국소 립시츠 상수를 낮추도록 FM에 대조 학습(contrastive learning) 패러다임을 도입하는 프레임워크인 CoFlow를 제안합니다. 구체적으로, 반발성 드리프트 항(repulsive drift term)을 주입하여 확률 미분 방정식(SDE) 관점에서 CoFlow를 정식화합니다. 이 드리프트는 양성 샘플의 순방향 과정을 음성 궤적으로부터 능동적으로 멀어지게 유도하여 국소 립시츠 상수를 효과적으로 감소시킵니다. 나아가, 이 SDE로부터 등가의 확률적 보간기(stochastic interpolant) 정식화를 유도하여 음성 샘플의 영향을 제어할 수 있는 간단하고 다루기 쉬운 설계 공간을 제공합니다. ImageNet 256x256에 대한 광범위한 실험을 통해 CoFlow가 추가적인 학습 오버헤드 없이 소수 단계 추론(예: 20단계)에서 표준 FM 대비 FID를 크게 감소시킴을 입증합니다. 코드는 https://github.com/HKUST-LongGroup/CoFlow 에서 확인할 수 있습니다.
ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템
ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images
생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.
다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리
Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation
기존 원격 탐사 영상 생성 방법은 대부분 단일 모달리티 합성에 국한되어 있어, 다중 모달 영상에 내재된 상보적 정보를 활용하지 못한다. 이 한계를 해결하기 위해, 우리는 다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리(contrastive parameter disentanglement) 프레임워크를 제안한다. 이 프레임워크는 단일 텍스트 프롬프트로부터 광학(optical), 적외선(infrared), 합성개구레이더(SAR, synthetic aperture radar) 등 여러 모달리티에 걸쳐 의미적으로 일관되고 구조적으로 정렬된 영상을 생성한다. 구체적으로, 우리는 직교 코어 부공간(orthogonal core subspace) 내에서 매개변수 수준에서 공유 의미와 모달리티별 속성을 분리하는 대조적 매개변수 분리 모듈을 도입한다. 이 모듈을 기반으로, 우리는 먼저 LoRA 어댑터의 매개변수 행렬 A가 다중 모달 대조 목적 함수를 통해 모달리티 불변 의미를 포착하도록 제약하고, 이어서 텍스트 조건화(text conditioning) 하에 여러 매개변수 행렬 B가 모달리티별 속성을 학습하도록 유도하는 분리 최적화 전략을 개발한다. 이 전략은 일관된 의미 내용과 뚜렷한 모달리티 특성을 갖는 다중 모달 영상의 동시 생성을 가능하게 한다. 또한 생성된 영상 간 구조적 정렬을 보장하기 위해, 우리는 추론 시 앵커(anchor) 모달리티로부터 나머지 모달리티로 구조적 상관 사전(structural correlation priors)을 전달함으로써 다중 모달 샘플링 궤적을 공동으로 모델링하는 쿼리-키(query-key) 구조 전달 메커니즘을 설계한다. 광범위한 실험을 통해 우리 방법이 생성 품질, 의미적 일관성, 구조적 정렬 측면에서 최신(state-of-the-art) 원격 탐사 영상 생성 접근법을 능가하며, 하류 객체 분류 작업에서도 우수한 성능을 달성함을 보인다.
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production
토론
이 논문과 연결된 포럼 글이 아직 없습니다.