PyTorchKR Papers

최신 논문

총 226편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.17853v2cs.CV

Detail++: 텍스트-투-이미지 디퓨전 모델을 위한 학습 없는 디테일 강화 모델

Detail++: Training-Free Detail Enhancer for Text-to-Image Diffusion Models

최근 텍스트-투-이미지(T2I) 생성 기술의 발전은 인상적인 시각적 결과를 이끌어냈습니다. 그러나 이러한 모델들은 복잡한 프롬프트(prompt), 특히 뚜렷한 속성을 가진 여러 주체가 포함된 경우를 처리할 때 여전히 중요한 과제에 직면해 있습니다. 인간의 그리기 과정, 즉 구도를 먼저 윤곽으로 잡고 점진적으로 세부 사항을 추가하는 과정에서 영감을 받아, 우리는 이러한 한계를 해결하기 위해 새로운 점진적 디테일 주입(Progressive Detail Injection, PDI) 전략을 도입하는 학습 없는 프레임워크인 Detail++를 제안합니다. 구체적으로, 우리는 복잡한 프롬프트를 단순화된 하위 프롬프트(sub-prompt)의 시퀀스로 분해하여 단계별로 생성 과정을 안내합니다. 이러한 단계적 생성은 셀프 어텐션(self-attention)의 고유한 레이아웃 제어 능력을 활용하여 먼저 전체적인 구도를 보장한 후 정밀한 세부 사항을 수정합니다. 속성과 해당 주체 간의 정확한 바인딩(binding)을 달성하기 위해, 우리는 크로스 어텐션(cross-attention) 메커니즘을 활용하고 테스트 시점에 중심 정렬 손실(Centroid Alignment Loss)을 추가로 도입하여 바인딩 노이즈를 줄이고 속성 일관성을 향상시킵니다. T2I-CompBench와 새로 구축된 스타일 구성 벤치마크(benchmark)에 대한 광범위한 실험을 통해 Detail++가 기존 방법보다 유의미하게 우수하다는 것을 보여주며, 특히 여러 객체와 복잡한 스타일 조건이 포함된 시나리오에서 그 성능이 두드러집니다.

arXiv:2606.17979v1cs.AI

STAR: 텍스트-이미지 강화학습 사후학습을 위한 시공간 적응형 보상 할당

STAR: SpatioTemporal Adaptive Reward Allocation for Text-to-Image RL Post-Training

기존 텍스트-이미지 생성을 위한 강화학습(RL) 사후학습 방법들은 보통 최종 이미지 보상을 단일 스칼라 어드밴티지로 변환하여 전체 생성 궤적에 동일한 강도로 적용합니다. 그러나 텍스트-이미지 생성은 본질적으로 시간적 및 공간적 구조를 가지는데, 서로 다른 디노이징 단계는 각기 다른 생성 단계를 담당하며 텍스트 정렬을 실제로 결정하는 콘텐츠는 이미지의 일부에만 나타나는 경우가 많습니다. 이러한 세분도 불일치로 인해 정책 업데이트가 실제로 보상에 영향을 미치는 생성 구성 요소에 집중하기 어렵습니다. 이 문제를 해결하기 위해 우리는 텍스트-이미지 디퓨전 및 플로우 모델의 강화학습 사후학습을 위해 \textbf{시공간 적응형 보상(STAR) 할당}을 제안합니다. STAR는 생성 모델 내부의 텍스트-이미지 어텐션(attention)을 활용하여 프롬프트에서 사용자가 실제로 중요하게 여기는 핵심 콘텐츠를 파악합니다. 이를 통해 디노이징 단계와 롤아웃(rollouts)에 따라 동적으로 변화하는 공간 할당 맵을 구성하고, 추가적인 계산 오버헤드 거의 없이 더 관련성 높은 잠재 영역에 동일한 그룹 상대적 어드밴티지를 할당합니다. 이후 STAR는 공간 분해 정책 목적 함수를 통해 해당 영역에 더 강력한 정책 업데이트를 적용합니다. 우리는 Stable Diffusion 3.5 Medium을 기본 모델로 사용하여 GenEval, OCR 텍스트 렌더링, PickScore 세 가지 작업에서 평가를 수행했습니다. 실험 결과, STAR는 외부 보상 소스를 변경하지 않고도 구성적 의미 정렬, 텍스트 렌더링, 선호도 최적화를 개선하여 GenEval, OCR, PickScore에서 각각 $\mathbf{0.9759}$, $\mathbf{0.9757}$, $\mathbf{23.60}$을 달성했습니다.

arXiv:2606.18066v1cs.LG

NoiseTilt: 확산 보상 정렬을 위한 노이즈 틸트 역커널

NoiseTilt: Noise-Tilted Reverse Kernels for Diffusion Reward Alignment

우리는 Noise-Tilted Reverse Kernel(NTRK)을 제안한다. 이는 보상 그래디언트를 노이즈 항을 통해 주입하는 보상 유도 확산 샘플러로, 사전학습된 역커널은 그대로 두고 각 스텝마다 단일 샘플만 필요로 한다. 추론 시점의 보상 유도 샘플링은 사전학습된 확산 모델의 활용 범위를 크게 넓혔다. 그러나 기존 방법들은 트레이드오프에 직면한다. 그래디언트 기반 가이던스는 역방향 평균을 이동시켜 생성을 유도하지만, 중간 상태를 모델이 학습한 영역 밖으로 밀어내 품질을 저하시킨다. 검색 기반 방법은 품질을 유지하지만 그래디언트 신호를 얻지 못한다. 이전까지 어떤 방법도 둘 다 달성하지 못했다. NTRK는 역방향 평균을 고정한 채 노이즈 항을 높은 보상 방향으로 치우치게 함으로써 이를 해결한다. 우리는 NTRK의 핵심 메커니즘인 화이트닝 연산자(whitening operator)를 도입한다. 이는 보상 그래디언트를 노이즈로 안전하게 주입하면서도 유도 신호를 잃지 않게 한다. 다양한 보상 정렬 작업에서 NTRK는 샘플 품질을 잃지 않으면서 최근 최신 기준선들을 능가한다. 주목할 점은, 미적 생성에서 NTRK가 500 NFE에서 최고 기준선의 보상을 능가하는 것을 25 NFE만으로 달성한다는 것이다. 이는 연산량을 20$\times$ 줄인 결과다.

arXiv:2606.17465v1cs.LG

생성 모델링을 위한 페룬-프로베니우스 연산자 매칭

Perron--Frobenius Operator Matching for Generative Modeling

우리는 적분 PF 연산자를 통해 밀도 진화(density evolution)를 매칭하여 플로우(flow), 확산(diffusion), 및 점프(jump) 모델을 아우르는 생성 프레임워크인 페룬-프로베니우스 연산자 매칭(PFOM)을 소개합니다. 우리는 브레그만 발산(Bregman divergence) 중에서 쿨백-라이블러 발산(Kullback--Leibler divergence)만이 밀도 수준(density-level)과 샘플 조건부(sample-conditioned) 목적 함수 사이의 동등성을 보존함을 증명하며, 이는 쿠프만 경로 매칭(Koopman path matching)과 동등한 실용적인 손실(loss)을 제공합니다. 또한, 우리는 이산화(discretization)를 안정화하고 수렴(convergence)을 가속화하는 네스테로프 가속 학습(training) 및 샘플링 방법을 개발했습니다. 가우시안 혼합(Gaussian mixtures) 및 투문(two-moons) 데이터셋에서 PFOM은 경험적 검증(validation)을 통해 더 빠른 KL/$W_2$/MMD 감소와 개선된 실시간 효율성(wall-clock efficiency)을 달성했습니다. PFOM은 연산자 이론적 식별(operator-theoretic identification)과 현대적 생성 모델링을 통합하며, 적응형 사전(adaptive dictionaries) 및 고차원 응용으로 가는 길을 엽니다.

arXiv:2606.17192v1cs.LG

제약 디퓨전 모델과 주-이중 추론

Constrained Diffusion Models with Primal-Dual Inference

본 논문은 엔트로피 정규화 최적화 문제의 평균 제약 조건에 대한 최적 분포에서 샘플을 생성하기 위해 주-이중 추론(PDI)을 사용하는 제약 디퓨전 모델을 개발합니다. 우리는 라그랑주 쌍대 영역에서 제약 샘플링을 정식화하며, 여기서 최적 분포는 최적 쌍대 변수에 의해 인덱싱된 기브스 분포의 형태를 취합니다. 샘플링 전에 이 쌍대 승수를 추정하고 생성 과정 내내 이를 동결하는 대신, PDI는 최적 주 분포와 이를 매개변수화하는 쌍대 변수를 공동으로 추론합니다. 각 역 디퓨전 단계는 현재 승수와 관련된 스코어 필드를 사용하여 노이즈를 제거한 다음, 노이즈가 제거된 샘플의 추정된 제약 위반량을 사용하여 쌍대 상승법을 통해 승수를 업데이트합니다. 이 조건부 스코어 필드를 활성화하기 위해, 우리는 추론 중에 마주치는 쌍대 변수에 의해 유도되는 기브스 분포의 집족에 대해 단일 쌍대 조건부 스코어 네트워크를 학습합니다. 우리는 추론 궤적을 따라 생성된 쌍대 변수의 시간 평균이 쌍대 최적해의 근방으로 수렴함을 증명하고, 스케줄 의존적 안정성 인자를 통해 최종 분포에 대한 잔여 쌍대 불일치의 영향을 제한합니다. 우리는 가우시안 혼합, 무선 자원 할당, 포트폴리오 관리에서의 제약 샘플링에 대해 PDI를 평가합니다.

arXiv:2508.19445v3cs.LG

신경망의 전사성에 대하여: 모델에서 모든 행동을 유도할 수 있는가?

On Surjectivity of Neural Networks: Can you elicit any behavior from your model?

학습된 신경망이 주어졌을 때, 지정된 모든 출력을 어떤 입력으로 생성할 수 있는가? 동등하게 말하자면, 해당 신경망은 전사 함수(surjective function)에 해당하는가? 생성 모델(generative models)에서 전사성은 유해하거나 바람직하지 않은 콘텐츠를 포함한 모든 출력이 원칙적으로 신경망에 의해 생성될 수 있음을 의미하며, 이는 모델 안전성(model safety) 및 탈옥(jailbreak) 취약성에 대한 우려를 제기한다. 본 논문에서 우리는 사전 층 정규화(pre-layer normalization) 및 선형 어텐션(linear-attention) 모듈을 포함한 현대 신경 아키텍처의 많은 기본 구성 요소가 거의 항상 전사적임을 증명한다. 따라서 GPT 스타일 트랜스포머(GPT-style transformers) 및 결정적 ODE 솔버(deterministic ODE solvers)를 사용하는 확산 모델(diffusion models)을 포함한 널리 사용되는 생성 프레임워크는 임의의 출력에 대한 역사상(inverse mappings)을 허용한다. 이러한 현대적이고 널리 사용되는 신경 아키텍처의 전사성을 연구함으로써, 우리는 광범위한 적대적 공격(adversarial attacks)에 대한 불가피한 취약성을 조명하는 형식주의(formalism)를 제공한다.

arXiv:2606.13565v1cs.LG

A2D2: 적응형 디코딩을 위한 임의 길이 이산 확산 미세조정

A2D2: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding

이산 확산 모델은 시퀀스 생성을 위한 간단하고 안정적인 가능도 기반 프레임워크를 제공하며, 최근 토큰 삽입을 통해 임의 길이 설정으로 확장되었습니다. 그러나 임의 길이 이산 확산을 위한 체계적인 보상 기반 미세조정은 대부분 탐구되지 않았습니다. 우리는 적응형 디코딩을 위한 임의 길이 이산 확산 미세조정(A2D2)을 소개합니다. 이는 삽입 및 마스킹 해제 정책의 공동 최적화와 품질 기반 추론 스케줄을 통해 임의 길이 이산 확산 모델의 보상 기반 미세조정을 위한 통합 프레임워크입니다. 우리는 결합 삽입-마스킹 해제 경로 측도에 대한 라돈-니코딤 도함수를 도출하여, 타겟 샘플 없이도 계산 불가능한 보상 기울어진 시퀀스 분포로의 이론적으로 보장된 수렴을 가능하게 합니다. 이를 바탕으로, 우리는 디코딩 오차를 최소화하기 위한 다루기 쉬운 접근 방식으로 마스킹 해제 및 삽입 품질을 확립하고, 보상 기울어진 분포를 생성하는 최적 경로 측도를 증명 가능하게 산출하는 적응형 공동 디코딩(AJD) 손실을 소개합니다. 실험적으로 A2D2는 기존의 고정 길이 미세조정 및 추론 시점 가이던스 방법에 비해 생성 유연성과 정확도를 향상시키면서 보상 최적화를 개선합니다.

arXiv:2606.13426v1cs.LG

블록 검증을 통한 추측 확산 가속화

Accelerating Speculative Diffusions via Block Verification

추측 디코딩(Speculative Decoding)은 드래프트 모델을 사용하여 토큰을 생성하고, 출력이 타겟 분포와 일치하도록 보장하는 수락-거부 방식을 통해 대규모 언어 모델(LLM)의 추론(inference) 속도를 높입니다. 이를 연속 확산(continuous diffusions)에 적용하는 것은 어렵습니다. 그 이유는 추측 샘플링(speculative sampling)이 잔차 분포(residual distribution)에서 샘플을 추출해야 하기 때문입니다. 이산 공간에서는 간단하지만, 연속 공간에서 이 잔차를 효율적으로 샘플링하는 것은 사소하지 않습니다. 결과적으로 기존의 확산 모델 적용 방식들은 계산적으로 비효율적인 샘플링 기술을 사용하거나 대체 방식에 의존합니다. 본 연구에서는 확산 모델을 위해 원래의 추측 샘플링 메커니즘을 효율적으로 구현하는 새로운 방식을 소개합니다. 우리의 접근 방식은 현재 방법들보다 중요한 이점을 제공합니다. 바로 LLM의 블록 검증(block verification)을 확산 모델로 적용할 수 있게 하여, 드래프트의 수락률을 증명 가능하게 개선합니다. 또한, 학습이 필요 없는 확산 모델을 위한 휴리스틱 자기 추측 드래프터(heuristic self-speculative drafter)인 Free Drafter를 정형화하고 분석합니다. 블록 검증을 활성화함으로써, 우리의 Free Drafter는 추가 학습 없이 기존 병렬 검증 단계 외에 무시할 수 있는 오버헤드만으로 기존 추측 방식 대비 최대 6.3%의 속도 향상을 달성합니다.

arXiv:2606.13364v1cs.LG

VideoMDM: 2D 지도로부터의 3D 인간 모션 생성을 향하여

VideoMDM: Towards 3D Human Motion Generation From 2D Supervision

VideoMDM은 3D ground truth 없이 단안 비디오의 2D 포즈만으로 3D 인간 모션 사전을 학습하는 디퓨전 기반 프레임워크로, 깊이 가중 2D 재투영 손실을 통해 3D 지도 학습과 동등한 효과를 달성한다. HumanML3D 벤치마크에서 완전 3D 지도 학습 모델과 거의 대등한 성능을 보이며 실제 비디오 데이터셋에서도 인간이 선호하는 모션을 생성한다.

arXiv:2606.13347v1cs.LG

수정된 역 확산 샘플링을 통한 분류기 유도 확산 모델의 저밀도 영역 탐험 강화

Enhanced Low-Density Region Exploration in Classifier-Guided Diffusion Models Through Modified Reverse Diffusion Sampling

분류기 기반 확산 모델(classifier-guided diffusion models)이 희귀 샘플을 잘 생성하지 못하는 문제를 해결하기 위해, 추가 학습 없이 샘플링 단계에서 역 확산 동역학을 수정하여 저밀도 영역을 탐색하고 실제 이미지를 향해 유도하는 방법을 제안한다. 이 방법은 ImageNet에서 FID를 유지하면서 리콜(recall)을 향상시키고, 고해상도에서도 고품질 샘플을 생성함을 입증했다.

arXiv:2606.13240v1cs.LG

제프리 가이던스를 활용한 디퓨전 모델의 더 일반적인 제어

Towards More General Control of Diffusion Models Using Jeffrey Guidance

디퓨전 모델의 제어를 일반화하기 위해 Jeffrey의 conditioning 규칙을 활용하여 주변 분포를 목표 분포로 업데이트하는 Jeffrey 가이던스 프레임워크를 제안한다. 이 방법은 CIFAR-10과 FFHQ에서 FID를 낮추고 CelebA-HQ에서 속성 간 독립성을 강화하는 공정성을 달성했다.

arXiv:2606.13191v1cs.LG

투영 코스틱(Projection Caustics)을 통한 생성 동역학에서 상전이의 기하학

The Geometry of Phase Transitions in Generative Dynamics via Projection Caustics

디퓨전(diffusion) 및 플로우 매칭(flow-matching) 모델의 생성 과정에서 발생하는 급격한 질적 변화를 데이터 서포트에 대한 투영이 유일하지 않은 투영 코스틱(projection caustics) 근처의 자유 에너지 경사 하강으로 해석합니다. 이를 기반으로 스코어 방향 불안정성을 진단하는 Critical Boundary Detector(CBD)를 제안하여 모드 결정 시점을 국소화하고 민감한 구간을 예측 및 제어할 수 있음을 보여줍니다.

arXiv:2606.12710v1cs.LG

확산 기반 사후 샘플링을 위한 안정화된 경로 공간 접근법

A Stabilized Path-Space Approach to Diffusion-Based Posterior Sampling

비선형 연산자와 다중 모드 사후 분포에서 기존 휴리스틱 가이드 방식의 한계를 해결하기 위해, 확산 기반 사후 샘플링을 위한 안정화된 경로 공간 프레임워크를 제안합니다. 시간 재매개변화와 신뢰 영역 최적화를 통해 제어된 확률 과정을 학습함으로써 샘플링 정확도와 견고성을 향상시킵니다.

arXiv:2606.13247v1cs.AI

EPIG: 개인화된 이미지 생성을 위한 감정 기반 프롬프팅

EPIG: Emotion-Based Prompting for Personalised Image Generation

텍스트-투-이미지 확산 모델의 감정 표현 한계를 극복하기 위해, 정서성-각성(valence-arousal) 표현과 역할 인식 프롬프트 강화를 활용하는 학습 없는 방법인 EPIG를 제안한다. 이 방법은 이미지 생성 백본을 수정하지 않고 프롬프트를 강화하여 각성(arousal) 오류를 기존 방법 대비 최대 14% 감소시키고 의미적 일관성을 유지한다.

arXiv:2606.12828v1cs.AI

인공지능 연구의 주제적 상전이: 대규모 증거와 신흥 주제에 대한 조기 경보 시그너처

Topical Phase Transitions in Artificial Intelligence Research: Large-Scale Evidence and an Early-Warning Signature for Emerging Topics

인공지능 연구 주제는 점진적으로 성장하는가, 아니면 급격하고 탐지 가능한 도약으로 전진하는가? 2017년부터 2025년까지 5개 주요 AI 학회(ACL, CVPR, ICLR, ICML, NeurIPS)의 수락된 메인 트랙 논문 80,814편을 분석한 결과, 주요 AI 주제들이 주제적 상전이(topical phase transitions)를 통해 발전함을 보여준다. 수년간 주변적 상태를 유지하다가 1~3년 안에 여러 학회에서 급증하는 패턴이다. 대규모 언어 모델(LLM)은 2025년까지 지배적인 교차 학회(cross-venue) 주제가 되었고, 확산 모델(diffusion models)은 유사한 급격성으로 부상했으며, 언어 모델 방법은 비전-언어(vision-language) 모델을 통해 컴퓨터 비전(CV)으로 확장되었다. 반면 강화학습(RL)은 완만하게 누적 성장하여, 진정한 상전이를 일반적 성장과 구별한다. 이러한 구조가 우리의 핵심 기여이다: AI 연구가 재편되는 방식에 대한 대규모 교차 학회 특성화이다. 그다음 우리는 상전이가 정점에 이르기 전에 탐지 가능한 흔적을 남기는지 묻는다. 조기 경보 시그너처를 정의하고, 2017-2021 데이터에 고정된 네 가지 출판 역학(publication-dynamics) 기준을 사용하여 2023-2025 상전이에 대해 표본 외(out of sample)로 평가하여, 13.5% 기저율(base rate) 대비 정밀도(precision) 27%, 재현율(recall) 63%를 얻었다. 2025년 데이터에 적용하면, 이 시그너처는 추론(reasoning) 및 테스트 시점 계산(test-time compute), 에이전트(agent) AI, 멀티모달 LLM, 검색-증강 생성(RAG), 월드 모델(world models)을 2026-2028년 동안 모니터링할 주제로 표시한다. 소스 코드는 https://github.com/KurbanIntelligenceLab/ai-phase-transitions GitHub에서 공개적으로 이용 가능하다.

arXiv:2606.13382v1cs.CV

SmartFont: 퓨샷 폰트 생성을 위한 동적 조건 할당

SmartFont: Dynamic Condition Allocation for Few-Shot Font Generation

퓨샷 폰트 생성은 동시에 전역적인 구조적 완전성과 세밀한 국소 스타일 충실도를 요구한다. 기존 방법들은 보통 전역 콘텐츠-스타일 모델링에 의존하여 견고하지만 완벽하게 분리되지 않거나, 컴포넌트/국소 모델링을 강조하여 세부 사항을 포착하지만 국소 사전 지식과 참조 커버리지에 크게 의존한다. 우리는 핵심 과제가 더 순수한 조건을 학습하는 것만이 아니라, 생성 과정에서 다단계 할당을 통해 상호 보완적이면서도 편향된 전역 및 국소 조건을 조직하는 데 있다고 주장한다. 이를 위해 우리는 전역 콘텐츠-스타일 생성과 약 지도 국소 보정 전문가를 결합한 확산 기반 퓨샷 폰트 생성 프레임워크인 SmartFont를 제안한다. 국소 분기는 약한 컴포넌트 지도 하에 전문가별 국소 개념과 의미적으로 유의미한 공간 맵을 학습하여 의미-공간 할당을 수행하며, 명시적인 컴포넌트 조건 추론 없이도 세밀한 보정을 가능하게 한다. 이를 바탕으로 노이즈 제거 상태 조건 할당 모듈이 시간 단계와 주입 블록에 걸쳐 전역 콘텐츠, 전역 스타일, 국소 보정 특징을 적응적으로 가중한다. 광범위한 실험 결과 SmartFont가 더 나은 전역-국소 균형을 달성하고 글리프 품질과 국소 세부 충실도를 향상시킴을 보여준다.

arXiv:2606.13366v1cs.CV

운용 비트율-왜곡-인지 최적화를 위한 이중 제약 디퓨전 이미지 압축

Dual-Constrained Diffusion Image Compression for Operational Rate-Distortion-Perception Optimization

비트율-왜곡-인지(RDP) 트레이드오프는 복원 결과에 분포 제약(distributional constraint)을 적용하여 고전적인 비트율-왜곡 이론을 확장함으로써, 충실도와 지각적 사실감을 동시에 제어하는 신경망 기반 이미지 압축을 위한 통합 프레임워크를 제공합니다. 기존 연구는 거의 최적의 비트율-인지 트레이드오프를 달성했으나, 전체 RDP 곡면을 명시적으로 실현하는 실용적 프레임워크는 여전히 드물며, 이는 주로 디코더에서 공통 난수(common randomness)를 도입하는 데 따른 어려움 때문입니다. 본 연구에서는 왜곡 및 멱등성(idempotence) 제약에 의해 제어되는 디퓨전 기반 디코더와 학습 가능한 코덱을 통합한 DCIC(Dual-Constrained Diffusion Image Compression)를 제안합니다. 왜곡 제약은 기본 코덱 출력에 대한 복원 충실도를 제한하며, 멱등성 제약—복원된 이미지를 재인코딩했을 때 기본 코덱의 복원 결과를 복구해야 한다는 조건—은 분포적 인지 요구사항에 대한 처리 가능한 대리 수단 역할을 합니다. 이 두 제약은 일관된 노이즈 주입을 통한 반복적 최적화로 역 노이즈 제거 과정을 유도하여, 추가 비트율 오버헤드 없이 공통 난수를 실현합니다. 고정 비트율에서 이중 감쇠 계수 $(K_D, K_P)$는 왜곡-인지 평면의 파레토 프론티어(Pareto frontier)를 공동 탐색하여, 단일 비트스트림으로부터 연속적으로 조절 가능한 충실도-사실감 트레이드오프를 가능하게 합니다. DCIC$_{RD}$ ($K_P{=}0$)와 DCIC$_{RP}$ ($K_D{=}0$)는 경계 곡선으로 나타나며, DCIC$_{RDP}$ ($K_D = K_P=1$)는 최적의 내부 운용 지점을 실현합니다. CNN, Transformer, 하이브리드 아키텍처에 걸쳐 CelebA-HQ, CLIC2020, ImageNet-1K 데이터셋에서 수행된 실험을 통해, DCIC$_{RDP}$는 모든 지각 코덱 대비 우수한 BD-PSNR을 달성함과 동시에 DCIC$_{RP}$는 BD-FID 지표에서 인지 지향 전용 방법과 대등한 성능을 보여, 전체 RDP 곡면 탐색의 실용적 가치를 검증했습니다.

arXiv:2606.12977v1cs.CV

효율적·강인·반결탁 이미지 확산 모델 지문 삽입

Efficient, Robust, and Anti-Collusion Fingerprinting of Image Diffusion Models

모델 지문(model fingerprinting)은 생성된 출력물에 사용자별 식별자(지문)를 삽입하는 기법으로, 최근 생성적 텍스트-투-이미지(text-to-image, T2I) 모델의 지식재산권(intellectual property rights, IPR)을 보호하고 무단 재배포를 방지하는 널리 쓰이는 방법으로 부상했다. 본 연구에서는 기존 생성 모델 지문 방법에 이전까지 탐색되지 않은 체계적 취약점이 존재함을 밝힌다. 즉, 다수의 공격자가 각자의 모델을 결합해 지문을 제거하거나 흐릿하게 만드는 결탁 공격(collusion attacks)에 대한 강인성이 부족하다는 점이다. 이 문제를 해결하기 위해, 우리는 반결탁(anti-collusion) 기능을 갖춘 T2I 모델용 강인한 지문 방법을 향한 첫걸음을 내딛는다. 제안 방법은 T2I 모델에 통합된 개인화 정규화 모듈(personalized normalization module, PNM)의 계수에 지문인 비트열을 인코딩하여, 생성된 모든 이미지에서 지문을 신뢰성 있게 복원할 수 있게 한다. 결탁 공격을 방어하고 모델의 무단 재배포를 막기 위해, 무손실 함수 불변 매개변수 변환(lossless function-invariant parameter transformations)에 기반한 반결탁 메커니즘을 도입한다. 이 메커니즘은 결탁된 모델의 이미지 생성 품질을 현저히 저하시켜 사실상 사용할 수 없게 만든다. 더 나아가, 우리 방법은 PNM을 재매개변수화함으로써 재학습 없이 지문이 삽입된 T2I 모델의 사본을 효율적으로 여러 개 생성할 수 있게 한다. 또한 모델 수준 공격에 대한 강인성을 높이기 위해 최악의 경우(worst-case) 최적화 전략을 도입한다. 실험 결과, 제안 방법은 다양한 T2I 이미지 생성 및 편집 작업에서 높은 충실도와 강인성을 달성하며, 지문 추출 정확도는 99.5%를 넘는다. 기존 방법과 비교할 때, 우리 방법은 결탁된 모델의 FID를 현저히 높임으로써 결탁 공격에 대한 눈에 띄는 선제적 강인성을 처음으로 입증한다.

arXiv:2606.12575v1cs.CV

교사 정렬 엔드 투 엔드 증류를 통한 고충실도 2단계 이미지 생성

High-Fidelity Two-Step Image Generation via Teacher-Aligned End-to-End Distillation

소수 단계 확산 증류(few-step diffusion distillation)는 4~8단계 생성에 대해 점차 성숙해졌으나, 2단계로 더 나아가는 것은 여전히 도전적인 과제로 남아 있습니다. 본 연구에서는 8단계 Z-Image Turbo 교사 모델로부터 증류된 고품질 2단계 이미지 생성 모델인 Z-Image Turbo++를 소개합니다. 우리의 방법은 2단계 생성에서 증가한 작업 난이도와 제한된 모델 용량이라는 핵심 병목을, 이 영역에 맞춘 세 가지 간단하지만 효과적인 설계 선택으로 해결합니다. 첫째, 생성적 적대 신경망 학습을 위해 외부 실제 이미지 대신 교사 모델이 생성한 이미지를 실제 샘플로 사용하여 더 달성 가능하고 정보가 풍부한 적대적 목표를 제공하는 분포 정렬 적대적 학습(Distribution-Aligned Adversarial Learning)을 제안합니다. 둘째, 두 노이즈 제거 단계에 독립적인 모델 파라미터를 할당하여 서로 다른 용량 요구를 더 잘 충족하는 단계 분리 파라미터화(Step-Decoupled Parameterization)를 채택합니다. 셋째, 명시적인 1단계 손실을 통해 의미 있는 중간 생성을 유지하면서 첫 번째 단계가 최종 이미지 품질로부터 그라디언트를 받을 수 있도록 반복적 정규화를 동반한 엔드 투 엔드 학습을 수행합니다. 이러한 설계들은 정성적 및 정량적 평가 모두에서 2단계와 8단계 생성 간 품질 격차를 상당히 줄였으며, 소수 단계 생성에서 품질-효율성 트레이드오프를 개선하기 위한 세심하게 맞춤화된 증류 전략의 잠재력을 강조합니다.

arXiv:2506.18438v3cs.CV

CPAM: 제로샷 실제 이미지 편집을 위한 문맥 보존 적응형 조작

CPAM: Context-Preserving Adaptive Manipulation for Zero-Shot Real Image Editing

텍스트-이미지 디퓨전 모델에서 텍스트 설명을 사용하여 자연 이미지를 편집하는 것은, 특히 일관된 생성을 달성하고 복잡한 비강체 객체를 처리하는 데 있어 여전히 중요한 과제입니다. 기존 방법들은 텍스처와 정체성을 보존하는 데 어려움을 겪고, 많은 파인튜닝을 요하며, 배경 세부 정보를 유지하면서 특정 공간 영역이나 객체를 편집하는 데 있어 한계를 보입니다. 본 논문은 복잡하고 비강체인 실제 이미지 편집을 위한 새로운 제로샷 프레임워크인 문맥 보존 적응형 조작(Context-Preserving Adaptive Manipulation, CPAM)을 제안합니다. 구체적으로, 객체와 배경을 효과적으로 보존하고 독립적으로 제어하기 위해 셀프-어텐션 메커니즘을 조정하는 보존 적응 모듈을 제안합니다. 이는 마스크 가이던스 기법을 사용하여 편집 과정에서 배경이 왜곡되지 않도록 유지하면서 객체의 형태, 텍스처 및 정체성이 보존되도록 보장합니다. 또한, 크로스-어텐션 메커니즘의 컨디셔닝 과정에서 원하지 않는 수정 영역에 대한 간섭을 완화하기 위해 국소화 추출 모듈을 개발했습니다. 또한, 간단한 방식으로 다양한 이미지 조작 작업을 용이하게 하는 다양한 마스크 가이던스 전략을 도입했습니다. CPAM은 SD1.5, SD2.1, SDXL을 포함한 여러 디퓨전 백본과 매끄럽게 통합될 수 있으며, 서로 다른 모델 아키텍처에 걸쳐 강력한 일반화 성능을 입증합니다. 실제 이미지 편집을 위해 특별히 설계된 견고한 벤치마크 데이터셋인 새로 구축한 이미지 조작 벤치마크(Image Manipulation BenchmArk, IMBA)에 대한 광범위한 실험을 통해, 제안하는 방법이 기존 최첨단 편집 기술을 능가하며 인간 평가자들 사이에서 선호되는 선택임을 입증했습니다. 소스 코드와 데이터는 프로젝트 페이지에서 공개될 예정입니다: https://vdkhoi20.github.io/CPAM