arXiv:1912.01691

Maximum entropy methods for texture synthesis: theory and practice

Valentin De Bortoli, Agnes Desolneux, Alain Durmus, Bruno Galerne, Arthur Leclaire

제출 2019-12-03

원문 초록

Recent years have seen the rise of convolutional neural network techniques in exemplar-based image synthesis. These methods often rely on the minimization of some variational formulation on the image space for which the minimizers are assumed to be the solutions of the synthesis problem. In this paper we investigate, both theoretically and experimentally, another framework to deal with this problem using an alternate sampling/minimization scheme. First, we use results from information geometry to assess that our method yields a probability measure which has maximum entropy under some constraints in expectation. Then, we turn to the analysis of our method and we show, using recent results from the Markov chain literature, that its error can be explicitly bounded with constants which depend polynomially in the dimension even in the non-convex setting. This includes the case where the constraints are defined via a differentiable neural network. Finally, we present an extensive experimental study of the model, including a comparison with state-of-the-art methods and an extension to style transfer.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08227v2cs.CV공통 태그 Image Generation, Style Transfer

StatLUT: 사실적 스타일 전이를 위한 통계적 특징 기반 멀티모달 3DLUT 생성

StatLUT: Statistical Feature-Driven Multimodal 3DLUT Generation for Photorealistic Style Transfer

사실적 스타일 전이(PST)는 콘텐츠 이미지의 구조적 무결성을 엄격히 보존하면서 참조 이미지의 색상 및 톤 스타일을 전이하는 것을 목표로 한다. 그러나 기존 딥러닝 기반 방법은 사전학습된 이미지 인코더로 인한 의미적 얽힘을 본질적으로 겪어 부자연스러운 공간 왜곡을 초래한다. 또한 현재의 픽셀 수준 매핑 방식은 색 영역 위상을 무시하는 경우가 많아 색 띠 현상이 발생하며, 정밀한 톤별 텍스트 기반 제어를 위한 멀티모달 능력도 부족하다. 이러한 병목을 해결하기 위해 3D LUT 생성을 위한 혁신적인 멀티모달 프레임워크 StatLUT를 제안한다. 첫째, 기존 인코더를 우회하고 Lab-Extractor를 도입하여 공간에 무관한 통계적 특징을 추출함으로써 색상 분포를 구조적 의미로부터 근본적으로 분리하고 아티팩트 없는 렌더링을 보장한다. 둘째, LUT 생성을 Transformer 기반 Seq2Seq 변환 과제로 정식화하고, 다차원 잔차 매퍼(MR-Mapper)를 활용하여 위상적으로 매끄러운 3D LUT를 예측한다. 마지막으로 단일 모달의 장벽을 넘기 위해, 톤을 기술하는 텍스트 프롬프트로부터 통계적 특징을 직접 합성하는 경량 확산 트랜스포머인 H-Diffuser를 제안하여 제어 가능하고 강건한 색 보정을 가능하게 한다. 표준 벤치마크에서의 광범위한 실험은 StatLUT가 시각적 품질과 정량적 지표 모두에서 최신 방법을 크게 능가함을 보이며, 멀티모달 사실적 스타일 전이를 위한 매우 강건하고 다재다능한 패러다임을 개척한다.

arXiv:2607.24729v1cs.CV공통 태그 Image Generation, Texture Synthesis

MicroZoom: 극한 스케일에서 구조를 보존하는 세부 합성

MicroZoom: Structure-Preserving Detail Synthesis at Extreme Scale

본 논문은 미시적 스케일에서 기가픽셀(gigapixel) 이미지 합성을 위한 생성 프레임워크인 MicroZoom을 소개한다. 일반 사진과 소수의 소비자급 현미경 근접 촬영이 주어지면, MicroZoom은 실제 참조의 재질 특성에 그라운딩(grounding)된 매끄러운 기가픽셀 해상도 이미지를 합성하여, 객체 전체 공간 범위에 걸친 미시적 질감의 탐색적 시각화를 가능하게 한다. 우리의 목표는 정확한 재구성이 아니라 그럴듯한 합성이다. 최대 350배 배율의 전체 이미지, 참조 기반, 극한 스케일 초해상도(super-resolution)에 집중하며, 이 설정은 두 가지 주요 과제를 제기한다: (1) 모호한 재질 경계 근처의 고손실 입력으로부터 질감 특화 세부 정보를 복원하는 것, (2) 직물 직조와 같은 반복 기하학과 같은 올바른 대규모 패턴 구조를 수백만 개의 지역 예측에 걸쳐 보존하는 것. 이를 2단계 캐스케이드(cascaded) 설계로 해결한다. 첫 단계에서는 전역 패턴 일관성을 복원하고, 두 번째 단계에서는 지역 질감 세부를 정제하며, 모호한 경계에서 합성을 안내하기 위해 분할(segmentation) 마스크를 보조적으로 사용한다. 자체 촬영한 일상 사물 모음에서 접근법을 검증하고, 전역적으로 일관되고 재질적으로 그라운딩된 기가픽셀 영상을 입증한다.

arXiv:2607.20913v1cs.AI공통 태그 Image Generation, Style Transfer

효율적인 확산 모델 미세조정을 위한 소스 프라이어 기반 선택적 적응

Source-Prior-Driven Selective Adaptation for Efficient Diffusion Model Finetuning

새로운 도메인이나 스타일을 위해 대규모 확산 모델을 미세조정할 때는 트레이드오프가 존재한다. 타깃 특화 생성을 개선하면 종종 사전학습된 모델의 폭넓은 생성 능력이 저하된다. 기존의 전체 미세조정 및 매개변수 효율적 미세조정 방법은 일반적으로 이 트레이드오프를 암묵적으로만 다룬다. 본 연구에서는 확산 모델을 효율적으로 미세조정하여 유리한 트레이드오프를 달성하기 위한 새로운 소스 프라이어 기반 선택적 적응 방법을 제안한다. 우리 방법은 두 가지 핵심 관찰에 기반한다: (1) 일반적인 생성 능력의 손실은 사전학습된 매개변수 간에 매우 불일치하며, (2) 모델의 일반적인 생성 능력에 상대적으로 작은 영향을 미치는 매개변수는 계층과 매개변수 유형에 걸쳐 구조적으로 불일치한 상태를 유지한다. 이러한 관찰에 동기를 부여받아, 우리는 먼저 하류 적응에 더 적합한 매개변수를 명시적으로 식별하기 위한 정적 마스크를 학습하고, 선택된 부분집합에 대해 구조화된 업데이트 전략을 구성한다. 실험 결과, 우리 방법은 기존의 강력한 베이스라인보다 더 나은 적응-보존 트레이드오프를 달성한다.

arXiv:2607.12404v1cs.CV공통 태그 Image Generation, Style Transfer

스타일-내용 분리를 위한 대조 증강 플로우 매칭

Contrastive-Augmented Flow Matching for Style-Content Disentanglement

내용과 스타일을 분리하는 표현 학습은 제어 가능한 생성과 조합적 일반화(compositional generalization)에 매우 중요하다. 그러나 주로 생성 목적함수로 학습된 확산(diffusion) 및 플로우 기반 모델은 종종 얽히거나 정렬되지 않은 요인을 생성한다. 이 간극을 해소하기 위해, 우리는 가역적 플로우 매칭(flow matching) 공식에 대조 정규화(contrastive regularization)를 통합하여 구조화된 내용-스타일 표현을 촉진하는 프레임워크인 Contrastive Augmented Flow Matching(CAtFM)을 제안한다. 중간 잠재 변수(latent)나 속도장(velocity field)을 제약하는 대신, 학습 중 예측된 종단점(endpoint)에 대조 감독(contrastive supervision)을 적용하여, 운반된 분포(transported distribution) 간 의미적 일관성을 강제하면서, 엄격히 순수하거나 완전히 요인분해된(factorized) 내용 및 스타일 표현을 가정하지 않고 분리(disentanglement)가 암묵적으로 나타나도록 한다. 주 실험은 CLIP 임베딩 공간에서 수행하였으며, 고정(frozen) DINO 및 ALIGN 인코더를 사용한 추가 검증도 진행하였다. 합성 데이터, 도메인 내(in-domain) 스타일, 그리고 실세계 벤치마크(ImageNet, WikiArt, DomainNet, DTD)에 걸쳐, CAtFM은 생성적 및 판별적(discriminative) 베이스라인 대비 내용 및 스타일 검색을 향상시키고, 임베딩 클러스터 분리를 강화하며, 더 강한 오픈셋(open-set) 견고성(robustness)을 달성한다. 전반적으로 CAtFM은 판별적 제약과 결정적(deterministic) 수송(transport)을 결합하는 간단한 방법을 제공하여, 분포 이동(distribution shift) 하에서 분리와 견고성을 개선한다.

arXiv:2607.09811v1cs.CV공통 태그 Image Generation, Style Transfer

Detangled: 특징이 풍부한 헤어 스트랜드의 생성, 편집 및 추론을 위한 프레임워크

Detangled: A Framework for Creating, Editing, and Inferencing Feature Rich Hair Strands

우리는 특징이 풍부한 헤어 스트랜드를 이해하고 생성하기 위한 프레임워크를 제시한다. 과학적·문화적 전문 지식을 바탕으로, 스트랜드 텍스처를 헤어 스트랜드 내부의 힘에 의해 형성되는 다양한 특유의 패턴(컬링, 스위치백, 트위스트 등)으로 정의한다. 우선, 자연적으로 발생하는 헤어 스트랜드 텍스처와 전단사 관계를 이루도록 설계된 새로운 5차원 매개변수 공간을 제안한다. 이 인코딩은 질적으로 접근하기 쉬워 사용자가 매개변수 공간에서 자신의 모발을 쉽게 찾을 수 있으며, 동시에 정량적으로 정밀하여 텍스처 입력으로부터 개별 스트랜드를 생성할 수 있다. 중요한 점은, 스트랜드 텍스처가 전체 스트랜드 방향과 독립적이어야 한다는 것이다. 스트랜드 텍스처를 전체 스트랜드 방향으로부터 분리하기 위해, 센터라인 기하구조를 식별하고 이를 활용하여 스트랜드를 정규 공간(스트랜드 텍스처 공간)으로 매핑한다. 복잡한 헤어 그룸을 깔끔하게 정제하여 스트랜드 텍스처를 전체 스타일(스타일 가이드로 매개변수화)로부터 분리하는 새로운 방법을 통해 센터라인을 구성한다. 텍스처에 대한 5가지 매개변수 설명에 따라 후보 스트랜드를 레이블링하도록 훈련된 별도의 신경망이 감독하는 생성적 인공지능 접근 방식을 통해, 우리의 텍스처 매개변수 설명을 따르는 새로운 스트랜드 생성을 가능하게 한다. 원하는 텍스처에 부합하는 새로운 스트랜드를 생성하는 능력은 텍스처 전이 또는 사용자 제공 입력을 통한 그룸 편집을 지원한다. 다양한 모발 유형에 대한 결과를 시연한다.

arXiv:2607.10165v1cs.CV공통 태그 Image Generation, Style Transfer

EmoStyle: 감성 이미지 생성을 위한 스타일 전문가 혼합의 감성 조건화

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

감정 인식 예술적 이미지 생성은 입력 프롬프트에 부합하고, 지정된 예술적 스타일을 따르며, 목표 감정을 전달하는 이미지를 필요로 한다. 이 과제에서 주된 어려움은 학습 데이터에서 사용 가능한 시각적·감성적 속성이 테스트 시점에 명시적으로 제공되지 않는다는 점이다. 이러한 속성 없이는 생성기가 무엇을 묘사할지뿐만 아니라, 색상·조명·붓질·구도·선·레이아웃을 통해 목표 감정을 어떻게 표현할지도 결정해야 한다. 이는 사용 가능한 테스트 프롬프트와 감정 인식 예술적 생성에 필요한 세밀한 조건 사이에 제어 간극(control gap)을 만들어낸다. 이 간극을 해소하기 위해, 우리는 입력 프롬프트를 구조화된 생성 상태로 변환하는 Z-Image 기반 프레임워크인 EmoStyle을 제안한다. 대규모 언어 모델(LLM) 추론기가 먼저 감성적 단서(valence-arousal, 지배적 감정, 치료적 효과 레이블)와 화면비 결정을 예측한다. 이 예측들을 단순히 추가 프롬프트 텍스트로만 사용하는 대신, 감성적 필드를 감성 조건 벡터로 인코딩하고 AdaLN 방식의 변조(modulation)를 통해 디노이징 블록에 주입한다. 이를 통해 추론된 제어 변수가 중간 피처 생성을 직접적으로 안내할 수 있다. 감정 표현이 스타일에도 의존하기 때문에, 각 예술적 스타일 버킷별로 전용 LoRA 어댑터를 추가로 학습하고 추론 시 해당 전문가를 선택함으로써, 동일한 감성적 단서가 색상·텍스처·붓질·구도에 대한 버킷별 사전(prior)으로 렌더링될 수 있도록 한다. 마지막으로, 경량 비전-언어 모델(VLM) 기반 후보 선택 단계에서 프롬프트 정합성, 스타일 일관성, 감정 표현, 시각적 품질을 기준으로 생성된 이미지의 순위를 매긴다. AffectiveArt Challenge 2026의 Track 1에서 우리의 USTC_PI_LAB_TEAM 제출물은 1위를 달성하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.