OmniPrism: Learning Disentangled Visual Concept for Image Generation
원문 초록
Creative visual concept generation often draws inspiration from specific concepts in a reference image to produce relevant outcomes. However, existing methods are typically constrained to single-aspect concept generation or are easily disrupted by irrelevant concepts in multi-aspect concept scenarios, leading to concept confusion and hindering creative generation. To address this, we propose OmniPrism, a visual concept disentangling approach for creative image generation. Our method learns disentangled concept representations guided by natural language and trains a diffusion model to incorporate these concepts. We utilize the rich semantic space of a multimodal extractor to achieve concept disentanglement from given images and concept guidance. To disentangle concepts with different semantics, we construct a paired concept disentangled dataset (PCD-200K), where each pair shares the same concept such as content, style, and composition. We learn disentangled concept representations through our contrastive orthogonal disentangled (COD) training pipeline, which are then injected into additional diffusion cross-attention layers for generation. A set of block embeddings is designed to adapt each block's concept domain in the diffusion models. Extensive experiments demonstrate that our method can generate high-quality, concept-disentangled results with high fidelity to text prompts and desired concepts.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DAGS: 시간적으로 안정화된 생성형 렌더링을 위한 동결된 이미지 DiT의 외형 및 기하학 분리 조향
DAGS: Disentangled Appearance-and-Geometry Steering of a Frozen Image DiT for Temporally Stabilized Generative Rendering
확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.
획득 변동성 모델링 및 제어를 위한 메타데이터 지도 기반 영상 표현
Metadata Supervised Imaging Representations for Modelling and Controlling Acquisition Variability
생체의학 영상 데이터는 영상 장비, 획득 프로토콜, 촬영 기관, 재구성 설정의 차이로 인해 동일한 생체 구조가 현저히 다르게 나타날 수 있는 상당한 획득 변동성(acquisition variability)을 보입니다. 그 결과, 학습된 표현은 기저의 생물학적 정보와 획득 환경에 따른 외형을 얽히게(entangle) 만들어 해석 가능성, 일반화 성능, 임상 적용을 제한하게 됩니다. 본 연구에서는 의료 영상과 획득 메타데이터를 함께 모델링함으로써 이러한 변동 요인들을 분리(disentangle)할 수 있음을 보여줍니다. 대규모 임상 뇌 MRI 데이터를 사례 연구로 활용하여, 해부학적 구조와 조영도(contrast) 의존적 외형을 분리하는 표현을 학습합니다. 그 결과 도출된 프레임워크는 이종 영상 프로토콜의 체계화, 시퀀스 이해, 영상-메타데이터 불일치 및 영상 아티팩트(artifact) 탐지를 가능하게 하는 동시에, 다양한 획득 환경 전반에서 생물학적으로 유의미한 해부학적 특징을 보존합니다. 이러한 분리된 표현을 기반으로 생성 및 변환 기능도 추가로 지원하여, 메타데이터 조건부 사실적 3D 뇌 MRI 합성과 모달리티 간(cross-modality) 및 기관 간(cross-site) 적응을 위한 해부학 구조 보존 조화(harmonisation)를 모두 수행합니다. 본 연구 결과는 획득 변동성이 모델링, 감사(audit), 합성 및 제어가 가능한 영상화 과정의 구조화된 구성 요소임을 입증하며, 대규모 생체의학 영상 분야에서 획득 인식 표현 학습(acquisition-aware representation learning)을 위한 토대를 마련합니다.
AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리
AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis
3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.
감정 프롬프트를 넘어: Valence-Arousal-Dominance 기반 세밀한 텍스트-투-이미지 생성
Beyond Emotion Prompts: Fine-Grained Text-to-Image Generation Driven by Valence-Arousal-Dominance
텍스트-투-이미지 모델은 대상과 장면을 정확히 묘사할 수 있지만, 창작자는 내용 설명을 다시 쓰지 않고도 이미지가 전달해야 할 세밀한 감정을 지정하기 어렵다. 자연어로 감정을 암시할 수는 있으나, 의미가 안정적이고 강도가 서열화된 제어 척도를 제공하지 않는다. 우리는 EMOTRANS를 제안한다. 이는 심리학적으로 정립된 valence-arousal-dominance(VAD) 좌표를 내용 텍스트와 독립적인 생성 조건으로 변환하고, 디노이징(denoising) 단계 전반에 걸쳐 변조하여 감정적 스타일을 세밀하게 조절 가능한 창작 변수로 만든다. 이 목표를 위해 객관적 내용 설명과 여러 annotator가 별도로 수집한 감정 평가를 짝지은 예술 회화 데이터셋 EMOVAD를 구축한다. 또한 공유 모델을 이용한 이중 분기 학습(dual-branch training)으로 감정 표현과 내용 보존을 조율한다. 객관적 평가와 인간 평가는 이 프레임워크가 3차원 감정 제어의 정확도를 향상시키고, 경쟁력 있는 텍스트 정렬 및 이미지 품질을 유지하면서 지각 가능하고 서열화 가능한 연속적 변화를 만들어냄을 보여준다. 본 연구는 객관적 내용 묘사를 세밀한 감정 조절로 확장하는 실용적인 감정 기반 이미지 생성 접근법을 제공한다.
다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리
Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation
기존 원격 탐사 영상 생성 방법은 대부분 단일 모달리티 합성에 국한되어 있어, 다중 모달 영상에 내재된 상보적 정보를 활용하지 못한다. 이 한계를 해결하기 위해, 우리는 다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리(contrastive parameter disentanglement) 프레임워크를 제안한다. 이 프레임워크는 단일 텍스트 프롬프트로부터 광학(optical), 적외선(infrared), 합성개구레이더(SAR, synthetic aperture radar) 등 여러 모달리티에 걸쳐 의미적으로 일관되고 구조적으로 정렬된 영상을 생성한다. 구체적으로, 우리는 직교 코어 부공간(orthogonal core subspace) 내에서 매개변수 수준에서 공유 의미와 모달리티별 속성을 분리하는 대조적 매개변수 분리 모듈을 도입한다. 이 모듈을 기반으로, 우리는 먼저 LoRA 어댑터의 매개변수 행렬 A가 다중 모달 대조 목적 함수를 통해 모달리티 불변 의미를 포착하도록 제약하고, 이어서 텍스트 조건화(text conditioning) 하에 여러 매개변수 행렬 B가 모달리티별 속성을 학습하도록 유도하는 분리 최적화 전략을 개발한다. 이 전략은 일관된 의미 내용과 뚜렷한 모달리티 특성을 갖는 다중 모달 영상의 동시 생성을 가능하게 한다. 또한 생성된 영상 간 구조적 정렬을 보장하기 위해, 우리는 추론 시 앵커(anchor) 모달리티로부터 나머지 모달리티로 구조적 상관 사전(structural correlation priors)을 전달함으로써 다중 모달 샘플링 궤적을 공동으로 모델링하는 쿼리-키(query-key) 구조 전달 메커니즘을 설계한다. 광범위한 실험을 통해 우리 방법이 생성 품질, 의미적 일관성, 구조적 정렬 측면에서 최신(state-of-the-art) 원격 탐사 영상 생성 접근법을 능가하며, 하류 객체 분류 작업에서도 우수한 성능을 달성함을 보인다.
스타일-내용 분리를 위한 대조 증강 플로우 매칭
Contrastive-Augmented Flow Matching for Style-Content Disentanglement
내용과 스타일을 분리하는 표현 학습은 제어 가능한 생성과 조합적 일반화(compositional generalization)에 매우 중요하다. 그러나 주로 생성 목적함수로 학습된 확산(diffusion) 및 플로우 기반 모델은 종종 얽히거나 정렬되지 않은 요인을 생성한다. 이 간극을 해소하기 위해, 우리는 가역적 플로우 매칭(flow matching) 공식에 대조 정규화(contrastive regularization)를 통합하여 구조화된 내용-스타일 표현을 촉진하는 프레임워크인 Contrastive Augmented Flow Matching(CAtFM)을 제안한다. 중간 잠재 변수(latent)나 속도장(velocity field)을 제약하는 대신, 학습 중 예측된 종단점(endpoint)에 대조 감독(contrastive supervision)을 적용하여, 운반된 분포(transported distribution) 간 의미적 일관성을 강제하면서, 엄격히 순수하거나 완전히 요인분해된(factorized) 내용 및 스타일 표현을 가정하지 않고 분리(disentanglement)가 암묵적으로 나타나도록 한다. 주 실험은 CLIP 임베딩 공간에서 수행하였으며, 고정(frozen) DINO 및 ALIGN 인코더를 사용한 추가 검증도 진행하였다. 합성 데이터, 도메인 내(in-domain) 스타일, 그리고 실세계 벤치마크(ImageNet, WikiArt, DomainNet, DTD)에 걸쳐, CAtFM은 생성적 및 판별적(discriminative) 베이스라인 대비 내용 및 스타일 검색을 향상시키고, 임베딩 클러스터 분리를 강화하며, 더 강한 오픈셋(open-set) 견고성(robustness)을 달성한다. 전반적으로 CAtFM은 판별적 제약과 결정적(deterministic) 수송(transport)을 결합하는 간단한 방법을 제공하여, 분포 이동(distribution shift) 하에서 분리와 견고성을 개선한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.