Cycle Generative Adversarial Networks Algorithm With Style Transfer For Image Generation
원문 초록
The biggest challenge faced by a Machine Learning Engineer is the lack of data they have, especially for 2-dimensional images. The image is processed to be trained into a Machine Learning model so that it can recognize patterns in the data and provide predictions. This research is intended to create a solution using the Cycle Generative Adversarial Networks (GANs) algorithm in overcoming the problem of lack of data. Then use Style Transfer to be able to generate a new image based on the given style. Based on the results of testing the resulting model has been carried out several improvements, previously the loss value of the photo generator: 3.1267, monet style generator: 3.2026, photo discriminator: 0.6325, and monet style discriminator: 0.6931 to photo generator: 2.3792, monet style generator: 2.7291, photo discriminator: 0.5956, and monet style discriminator: 0.4940. It is hoped that the research will make the application of this solution useful in the fields of Education, Arts, Information Technology, Medicine, Astronomy, Automotive and other important fields.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
효율적인 확산 모델 미세조정을 위한 소스 프라이어 기반 선택적 적응
Source-Prior-Driven Selective Adaptation for Efficient Diffusion Model Finetuning
새로운 도메인이나 스타일을 위해 대규모 확산 모델을 미세조정할 때는 트레이드오프가 존재한다. 타깃 특화 생성을 개선하면 종종 사전학습된 모델의 폭넓은 생성 능력이 저하된다. 기존의 전체 미세조정 및 매개변수 효율적 미세조정 방법은 일반적으로 이 트레이드오프를 암묵적으로만 다룬다. 본 연구에서는 확산 모델을 효율적으로 미세조정하여 유리한 트레이드오프를 달성하기 위한 새로운 소스 프라이어 기반 선택적 적응 방법을 제안한다. 우리 방법은 두 가지 핵심 관찰에 기반한다: (1) 일반적인 생성 능력의 손실은 사전학습된 매개변수 간에 매우 불일치하며, (2) 모델의 일반적인 생성 능력에 상대적으로 작은 영향을 미치는 매개변수는 계층과 매개변수 유형에 걸쳐 구조적으로 불일치한 상태를 유지한다. 이러한 관찰에 동기를 부여받아, 우리는 먼저 하류 적응에 더 적합한 매개변수를 명시적으로 식별하기 위한 정적 마스크를 학습하고, 선택된 부분집합에 대해 구조화된 업데이트 전략을 구성한다. 실험 결과, 우리 방법은 기존의 강력한 베이스라인보다 더 나은 적응-보존 트레이드오프를 달성한다.
스타일-내용 분리를 위한 대조 증강 플로우 매칭
Contrastive-Augmented Flow Matching for Style-Content Disentanglement
내용과 스타일을 분리하는 표현 학습은 제어 가능한 생성과 조합적 일반화(compositional generalization)에 매우 중요하다. 그러나 주로 생성 목적함수로 학습된 확산(diffusion) 및 플로우 기반 모델은 종종 얽히거나 정렬되지 않은 요인을 생성한다. 이 간극을 해소하기 위해, 우리는 가역적 플로우 매칭(flow matching) 공식에 대조 정규화(contrastive regularization)를 통합하여 구조화된 내용-스타일 표현을 촉진하는 프레임워크인 Contrastive Augmented Flow Matching(CAtFM)을 제안한다. 중간 잠재 변수(latent)나 속도장(velocity field)을 제약하는 대신, 학습 중 예측된 종단점(endpoint)에 대조 감독(contrastive supervision)을 적용하여, 운반된 분포(transported distribution) 간 의미적 일관성을 강제하면서, 엄격히 순수하거나 완전히 요인분해된(factorized) 내용 및 스타일 표현을 가정하지 않고 분리(disentanglement)가 암묵적으로 나타나도록 한다. 주 실험은 CLIP 임베딩 공간에서 수행하였으며, 고정(frozen) DINO 및 ALIGN 인코더를 사용한 추가 검증도 진행하였다. 합성 데이터, 도메인 내(in-domain) 스타일, 그리고 실세계 벤치마크(ImageNet, WikiArt, DomainNet, DTD)에 걸쳐, CAtFM은 생성적 및 판별적(discriminative) 베이스라인 대비 내용 및 스타일 검색을 향상시키고, 임베딩 클러스터 분리를 강화하며, 더 강한 오픈셋(open-set) 견고성(robustness)을 달성한다. 전반적으로 CAtFM은 판별적 제약과 결정적(deterministic) 수송(transport)을 결합하는 간단한 방법을 제공하여, 분포 이동(distribution shift) 하에서 분리와 견고성을 개선한다.
Detangled: 특징이 풍부한 헤어 스트랜드의 생성, 편집 및 추론을 위한 프레임워크
Detangled: A Framework for Creating, Editing, and Inferencing Feature Rich Hair Strands
우리는 특징이 풍부한 헤어 스트랜드를 이해하고 생성하기 위한 프레임워크를 제시한다. 과학적·문화적 전문 지식을 바탕으로, 스트랜드 텍스처를 헤어 스트랜드 내부의 힘에 의해 형성되는 다양한 특유의 패턴(컬링, 스위치백, 트위스트 등)으로 정의한다. 우선, 자연적으로 발생하는 헤어 스트랜드 텍스처와 전단사 관계를 이루도록 설계된 새로운 5차원 매개변수 공간을 제안한다. 이 인코딩은 질적으로 접근하기 쉬워 사용자가 매개변수 공간에서 자신의 모발을 쉽게 찾을 수 있으며, 동시에 정량적으로 정밀하여 텍스처 입력으로부터 개별 스트랜드를 생성할 수 있다. 중요한 점은, 스트랜드 텍스처가 전체 스트랜드 방향과 독립적이어야 한다는 것이다. 스트랜드 텍스처를 전체 스트랜드 방향으로부터 분리하기 위해, 센터라인 기하구조를 식별하고 이를 활용하여 스트랜드를 정규 공간(스트랜드 텍스처 공간)으로 매핑한다. 복잡한 헤어 그룸을 깔끔하게 정제하여 스트랜드 텍스처를 전체 스타일(스타일 가이드로 매개변수화)로부터 분리하는 새로운 방법을 통해 센터라인을 구성한다. 텍스처에 대한 5가지 매개변수 설명에 따라 후보 스트랜드를 레이블링하도록 훈련된 별도의 신경망이 감독하는 생성적 인공지능 접근 방식을 통해, 우리의 텍스처 매개변수 설명을 따르는 새로운 스트랜드 생성을 가능하게 한다. 원하는 텍스처에 부합하는 새로운 스트랜드를 생성하는 능력은 텍스처 전이 또는 사용자 제공 입력을 통한 그룸 편집을 지원한다. 다양한 모발 유형에 대한 결과를 시연한다.
EmoStyle: 감성 이미지 생성을 위한 스타일 전문가 혼합의 감성 조건화
EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation
감정 인식 예술적 이미지 생성은 입력 프롬프트에 부합하고, 지정된 예술적 스타일을 따르며, 목표 감정을 전달하는 이미지를 필요로 한다. 이 과제에서 주된 어려움은 학습 데이터에서 사용 가능한 시각적·감성적 속성이 테스트 시점에 명시적으로 제공되지 않는다는 점이다. 이러한 속성 없이는 생성기가 무엇을 묘사할지뿐만 아니라, 색상·조명·붓질·구도·선·레이아웃을 통해 목표 감정을 어떻게 표현할지도 결정해야 한다. 이는 사용 가능한 테스트 프롬프트와 감정 인식 예술적 생성에 필요한 세밀한 조건 사이에 제어 간극(control gap)을 만들어낸다. 이 간극을 해소하기 위해, 우리는 입력 프롬프트를 구조화된 생성 상태로 변환하는 Z-Image 기반 프레임워크인 EmoStyle을 제안한다. 대규모 언어 모델(LLM) 추론기가 먼저 감성적 단서(valence-arousal, 지배적 감정, 치료적 효과 레이블)와 화면비 결정을 예측한다. 이 예측들을 단순히 추가 프롬프트 텍스트로만 사용하는 대신, 감성적 필드를 감성 조건 벡터로 인코딩하고 AdaLN 방식의 변조(modulation)를 통해 디노이징 블록에 주입한다. 이를 통해 추론된 제어 변수가 중간 피처 생성을 직접적으로 안내할 수 있다. 감정 표현이 스타일에도 의존하기 때문에, 각 예술적 스타일 버킷별로 전용 LoRA 어댑터를 추가로 학습하고 추론 시 해당 전문가를 선택함으로써, 동일한 감성적 단서가 색상·텍스처·붓질·구도에 대한 버킷별 사전(prior)으로 렌더링될 수 있도록 한다. 마지막으로, 경량 비전-언어 모델(VLM) 기반 후보 선택 단계에서 프롬프트 정합성, 스타일 일관성, 감정 표현, 시각적 품질을 기준으로 생성된 이미지의 순위를 매긴다. AffectiveArt Challenge 2026의 Track 1에서 우리의 USTC_PI_LAB_TEAM 제출물은 1위를 달성하였다.
악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크
The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer
헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.