PyTorchKR Papers

최신 논문

총 226편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09081v1cs.CV

행동 분할 데이터셋 압축을 위한 적응형 잠재 궤적 앵커링

Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation

행동 분할을 위한 데이터셋 압축(dataset condensation)은 길고 다듬어지지 않은 비디오 데이터셋을 간결하고 정보가 풍부한 표현으로 합성한다. 기존 방법은 변분 오토인코더(Variational Autoencoder)와 반복적 잠재 최적화에 의존하며, 계산 비용이 크고 과도하게 평탄화된 재구성 및 경직된 시간적 제약이라는 문제를 겪는다. 본 논문은 압축 패러다임을 최적화 기반 역변환에서 결정론적 잠재 매핑으로 전환할 것을 제안한다. 노이즈 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)을 활용하여, 행동 구간을 노이즈 매니폴드 내 희소한 잠재 점들에 의해 앵커링된 연속 궤적으로 표현한다. 표현 효율을 극대화하기 위해, 구간별 재구성 난이도에 따라 앵커링 예산을 동적으로 재분배하는 적응형 할당 메커니즘을 도입한다. 광범위한 실험을 통해, 본 프레임워크가 주요 데이터셋에서 분할 성능 면에서 최신 기법들을 크게 능가함을 입증한다. 특히, 본 방법은 Breakfast 데이터셋에서 2.4%의 압축 비율을 유지하면서도 실제 데이터 학습과 동등한 성능을 달성한다.

arXiv:2607.09067v1cs.CV

판별적 표현 학습을 위한 확산 디노이징 다이나믹스 탐색

Probing Diffusion Denoising Dynamics for Contrastive Representation Learning

텍스트-이미지 확산 모델은 전례 없는 생성 능력을 보이며, 판별적 비전 태스크에 유용하게 활용될 수 있는 풍부한 중간 표현을 내포하고 있다. 이러한 관찰에 착안하여, 본 연구는 다음의 집중적인 질문을 탐구한다: 사전학습된 확산 모델의 디노이징 다이나믹스를 매개변수 효율적인 업데이트 하에서 생성 동작을 유지하면서도 판별적 표현 학습을 지원하도록 어떻게 적응시킬 수 있는가? 우리는 이 질문에 대한 탐구로서 D$^3$CL을 제시한다. 핵심 관찰은, 서로 다른 확산 타임스텝의 노이즈 잠재 변수를 동일한 원본 이미지의 확률적 뷰로 해석할 수 있다는 것이며, 이를 통해 표준 디노이징 재구성 손실에 대조 목적 함수를 결합할 수 있다. 이 공식화는 처음부터 학습하지 않고도 생성적 디노이징과 판별적 표현 학습 간의 상호작용을 탐색하는 간단한 방법을 제공한다. 적응을 경량화하기 위해, 사전학습된 Stable Diffusion 백본에 LoRA 업데이트를 적용하면서 원래 모델 매개변수는 동결한다. D$^3$CL은 재구성 목적 함수와 노이즈 레벨 대조 목적 함수가 상보적일 수 있다는 강력한 실증적 증거를 제공한다: ImageNet-1K에서 80.1%의 선형 프로빙 정확도와 $256 \times 256$ 비조건부 생성에 대해 5.56의 FID를 달성한다. 설계 공간에 대한 추가적인 어블레이션 실험은 확산 피처의 유용성이 어디서, 어떻게 디노이징 상태를 샘플링하는지에 따라 달라짐을 시사한다. 이러한 결과들은 D$^3$CL을 사전학습된 확산 모델을 위한 매개변수 효율적 적응 프레임워크로 자리매김하며, 노이즈 레벨 대조 학습이 생성 성능을 유지하면서 판별적 태스크를 위한 디노이징 표현을 구조화할 수 있음을 보여준다.

arXiv:2607.08757v1stat.ML

순방향 확산에서의 스코어 정확도는 확산 샘플링의 수치적 안정성을 보장하지 않는다

Score Accuracy Along the Forward Diffusion Does Not Certify Numerical Stability in Diffusion Sampling

스코어 매칭(score matching)의 순방향 주변 오차가 작아도 오일러-마루야마(Euler-Maruyama) 이산화 샘플러의 수치적 안정성이 보장되지 않음을 반례 구성을 통해 엄밀히 증명하며, 약한 수렴(weak convergence)이 성립하더라도 모든 Wasserstein 거리 $W_p$가 발산할 수 있음을 보인다. 컴팩트 지지 데이터의 경우 학습된 디노이저(denoiser)를 볼록 집합에 투영하면 모멘트 경계와 Wasserstein 수렴을 복원할 수 있으며, 이는 이미지 diffusion 모델에서 사용되는 클리핑 휴리스틱의 이론적 근거를 제공한다.

arXiv:2607.08041v1cs.LG

베이지안 확산 모델에서 일반화 상전이의 엄밀한 정보 이론

An exact information theory of generalization phase transitions in Bayesian diffusion models

확산 모델이 유한한 학습 데이터로 고차원 분포를 암기 없이 학습하는 메커니즘을 규명하기 위해, 각 픽셀이 노이즈 데이터의 제한된 정보를 관찰하고 베이지안 사후 확률로 역확산을 수행하는 BIRD(Bayesian Information Restricted Diffusion) 모델을 제안한다. 학습 데이터 양, 역 생성 시간, 정보 제한량의 결합 공간에서 암기와 일반화 사이의 정보 이론적 상경계(phase boundary)를 도출하고, UNet·DiT 등 다양한 아키텍처에서 이를 실험적으로 검증하며 생성이 암기의 경계 근방에서 진행됨을 보인다.

arXiv:2607.08241v1cs.CV

영공간 해소: 분류기-프리 확산을 위한 가이던스-인식 양자화

Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion

기존 사후 학습 양자화(PTQ) 방법들이 CFG 확산 모델을 단일 브랜치로 취급하여 가이던스 격차만 보정할 경우, 비조건부 브랜치가 임의로 표류해 샘플 품질을 심각하게 저하시키는 "브랜치 드리프트 함정(branch-drift trap)"이 발생함을 수학적으로 증명하고 실험으로 확인한다. 이를 해결하기 위해 제안된 Guidance-Aware Mixed Precision(GAMP)은 가이던스된 예측을 직접 보정 목표로 삼고, 레이어별 활성화 비트 민감도를 탐욕적 배낭 알고리즘으로 할당하여 구조적으로 브랜치 드리프트를 방지한다.

arXiv:2607.06432v1cs.LG

TILDE: 개념 언러닝을 위한 틸트 기반 분포적 소거

TILDE: TILt-based Distributional Erasure for Concept Unlearning

텍스트-이미지 확산 모델에서 저작권·안전 규정 대응을 위한 개념 언러닝(concept unlearning)을 분포 정렬 문제로 재정의하는 TILDE를 제안하며, 망각 에너지 제약 하에 사전학습 분포로부터 최소 편차를 갖는 KL 투영 목표를 도출하고 잔차 ∇-GFlowNet 학습으로 구현한다. 객체, 예술 스타일, 캐릭터 삭제 실험에서 기존 베이스라인 대비 강력한 망각과 함께 안전 생성에 대한 품질·다양성·분포적 충실도를 동시에 향상시켰다.

arXiv:2607.06114v1cs.LG

x-Prediction Is All You Need:Training-Free Accelerated Generation via Endpoint Decodability

diffusion 모델과 flow matching 모델의 affine 확률 경로에서 중간 상태와 속도만으로 최종 샘플 $x_0$를 복원할 수 있는 "endpoint decodability" 성질을 이론적으로 형식화하고, 이를 활용해 ODE를 조기 종료한 뒤 복원된 $x_0$를 직접 출력하는 Truncated Jump Sampling(TJS)을 제안한다. TJS는 재학습·지식 증류·아키텍처 변경 없이 SDXL, SD3.5M 등 6종 모델에서 NFE를 20~70% 감소시키면서 품질을 거의 유지했다.

arXiv:2606.20416v2cs.LG

디퓨전 모델에서 타임스텝 임베딩의 중복성에 관하여

On the Redundancy of Timestep Embeddings in Diffusion Models

디퓨전 모델은 다양한 노이즈 스케일에 걸쳐 노이즈 제거 과정을 조절하기 위해 명시적인 타임스텝 임베딩에 크게 의존합니다. 본 연구에서는 U-Net 및 디퓨전 트랜스포머 아키텍처에 미치는 영향을 분석하여 이러한 시간적 신호의 필요성에 의문을 제기합니다. 실증적 증거를 넘어, 우리는 특정 조건 하에서 명시적인 타임스텝 컨디셔닝 없이도 디퓨전 학습 목적 함수의 전역 최소해를 달성할 수 있음을 보여주는 이론적 프레임워크를 제공합니다. 우리의 연구 결과는 타임스텝 임베딩이 완전히 제거되었을 때 놀라운 견고성을 보여줍니다. CelebA 및 CIFAR-10 데이터셋에 대한 광범위한 제거 연구에 따르면, 이러한 시간 무관 모델은 높은 구조적 충실도를 유지할 수 있으며, FID, 정밀도, 재현율을 포함한 경쟁 지표에서 조건부 모델을 능가하기도 합니다. 우리의 분석에 따르면, 특정 가정 하에서 이러한 아키텍처는 손상된 입력으로부터 노이즈 스케일을 암묵적으로 추론할 수 있어, 명시적인 시간적 컨디셔닝이 중복됨을 시사합니다. 이 연구는 오랫동안 지속되어 온 시간적 컨디셔닝 패러다임에 도전하며, 보다 효율적이고 구조 중심의 생성 아키텍처로 가는 길을 열어줍니다.

arXiv:2607.06389v1cs.CV

FADRA: 비디오 얼굴 복원을 위한 잔차 적응 기반 주파수 인식 확산 모델

FADRA: Frequency-Aware Diffusion with Residual Adaptation for Video Face Restoration

사전학습된 텍스트-투-비디오 확산 모델의 시간적 일관성 사전 지식을 활용하여 비디오 얼굴 복원(VFR)의 공간적 충실도와 시간적 일관성 균형 문제를 해결하는 FADRA 프레임워크를 제안한다. 경량 LoRA 어댑터와 LQ 픽셀 정렬 특징 융합 모듈, 플로우 매칭 각 단계에서 저품질 단서를 반복 재참조하는 반복 잔차 적응 헤드(RRAH), 그리고 인간 시각 시스템 기반의 주파수 인식 손실(FAL)을 결합하여 최신 방법 대비 정량·정성 평가 모두에서 우수한 얼굴 구조 복원 및 시간적 일관성을 달성했다.

arXiv:2607.06335v1cs.CV

교사 정렬 복구를 통한 확산 모델 가지치기와 스텝 증류의 연결

Bridging Diffusion Pruning and Step Distillation with Teacher-Aligned Repair

확산 모델(diffusion model)의 추론 비용을 동시에 줄이기 위해, 구조적 가지치기(structured pruning) 이후 전체 재학습 없이 스텝 증류(step distillation)로 바로 이어지는 경로가 실패함을 규명하고, 이를 해결하는 짧은 교사 정렬(teacher-alignment) 복구 단계를 제안한다. ImageNet-512에서 EDM2-XS를 20% 가지치기한 단일 스텝 생성기가 98.826M 파라미터와 1회 네트워크 평가만으로 FID 3.12를 달성해 원본(124.713M, 63회 평가, FID 3.53)을 오히려 앞섰다.

arXiv:2607.06120v1cs.CV

AEGIS: A Mechanism-Guided Defense against Visual Synonym Jailbreaks in Text-to-Image Models

텍스트-이미지 확산 모델에서 무해해 보이는 프롬프트가 암묵적 시각 연관성을 통해 금지된 이미지를 유도하는 시각적 동의어 공격(VSA)을 방어하기 위해, 소수의 의미 주입 어텐션 헤드가 추론 시점의 병목임을 메커니즘 분석으로 규명하고 해당 헤드에만 유사도 인식 반발을 적용하는 추론 시점 방어 기법 AEGIS를 제안한다. 16개 베이스라인 대비 SD 1.4에서 도메인 내 VSA 공격 성공률을 0.00/0.03까지 낮추면서 무해한 개념의 생성 품질을 보존하고, SD 2.1 및 FLUX.1로의 전이 가능성도 확인하였다.

arXiv:2604.13030v2cs.CV

시각적 합성을 위한 생성적 정제 네트워크

Generative Refinement Networks for Visual Synthesis

확산 모델의 균일한 계산 비용 문제와 자기회귀(AR) 모델의 손실 이산 토큰화 및 오류 누적 문제를 동시에 해결하기 위해, ByteDance 연구진은 계층적 이진 양자화(HBQ)와 전역 정제 메커니즘을 결합한 생성적 정제 네트워크(GRN)를 제안한다. GRN은 ImageNet 벤치마크에서 이미지 재구성 0.56 rFID, 클래스 조건부 생성 1.81 gFID로 새로운 최고 성능을 달성하였으며, 텍스트-이미지 및 텍스트-비디오 생성으로도 성공적으로 확장되었다.

arXiv:2408.00001v2cs.CV공식 코드 · Papers with Code

시각적 확산 모델에서의 복제: 서베이 및 전망

Replication in Visual Diffusion Models: A Survey and Outlook

시각적 확산 모델(visual diffusion model)이 학습 데이터의 개념·콘텐츠·스타일을 추론 단계에서 복제하는 현상을 개인정보 보호, 보안, 저작권 관점에서 체계적으로 분석한 최초의 종합 서베이로, 복제 현상의 규명(unveiling)·이해(understanding)·완화(mitigation) 세 범주로 기존 연구를 분류하고 의료·예술·법규 등 실세계 영향까지 포괄적으로 검토한다.

arXiv:2607.04780v1stat.ML

바이어스된 제안 분포를 사용하는 SMC의 비점근적 오차 한계: 조건부 확산 샘플링에의 응용

Non-Asymptotic Error Bounds for SMC with Biased Proposals: Application to Conditional Diffusion Sampling

사전학습된 생성 모델의 사후적 조건화(post-hoc conditioning)에 쓰이는 순차적 몬테카를로(SMC) 샘플러에서 변이 커널이 이상적인 Feynman–Kac 흐름의 바이어스된 근사일 때, 전체 오차를 커널 바이어스와 유한 파티클 몬테카를로 오차로 분해하는 비점근적 오차 분석 프레임워크를 제시한다. 이를 스코어 기반 확산 모델(score-based diffusion model)의 조건부 샘플링에 적용하여, 초기화 오차·시간 이산화·스코어 근사·파티클 근사를 동시에 제어하는 최초의 비점근적 오차 한계를 도출한다.

arXiv:2607.04442v1stat.ML

확산 모델의 스코어 매칭 간격 좁히기

Tightening the Score Matching Gap for Diffusion Models

확산 모델(Diffusion Models)의 학습 목표인 스코어 매칭 손실과 실제 샘플 품질 간의 격차, 즉 스코어 매칭 간격(score matching gap)에 대한 이론적 분석을 제공하며, 역방향 프로세스의 수축 특성과 로그 소볼레프 부등식(logarithmic Sobolev inequalities)을 활용해 KL 발산, 역방향 KL 발산, 와서스타인 거리(Wasserstein distance)에 대한 더 타이트한 바운드를 도출한다. 특히 낮은 노이즈 스케일에서 스코어 근사 품질이 간격 축소에 더 큰 영향을 미침을 이론적으로 규명하고, 시간 감쇠 가중치를 통해 기존 수렴 바운드보다 개선된 샘플 품질 추정을 가능하게 함을 실험적으로 확인한다.

arXiv:2607.02671v1stat.ML

양성 과적합은 확산 모델에서 발생하지 않는다

Benign Overfitting Does Not Occur in Diffusion Models

확산 모델(diffusion model)이 표준 딥러닝과 유사한 구조를 공유함에도 불구하고, 양성 과적합(benign overfitting)과 이중 강하(double descent)는 확산 모델에서 발생하지 않으며, 샘플 크기가 데이터 차원에 대해 지수적으로 증가하지 않는 한 과적합과 좋은 일반화가 동시에 나타날 수 없음을 이론적으로 증명한다. 스코어 매칭(score matching)은 회귀와 달리 목표와 경험적 공분산 간의 정렬이 불가능해 과적합이 본질적으로 유해하며, 스코어의 시간적 평활성과 조기 종료가 이를 방지하는 암묵적 정규화 메커니즘으로 작용함을 고차원 이미지 생성 실험으로 검증한다.

arXiv:2602.02908v2cs.LG

확산 모델의 일관성에 관한 랜덤 행렬 이론적 관점

A Random Matrix Theory Perspective on the Consistency of Diffusion Models

서로 다른 비중복 데이터 분할로 학습된 확산 모델이 동일한 노이즈 시드에서 유사한 출력을 생성하는 일관성 현상을, 공유된 가우시안 통계에서 비롯된 선형 효과로 설명하는 랜덤 행렬 이론(RMT) 프레임워크를 제안한다. 유한 데이터셋이 학습된 디노이저의 기댓값과 분산을 형성하는 방식을 정량화하고, 고유 모드 간 비등방성·입력 간 불균질성·데이터셋 크기 스케일링이라는 세 가지 핵심 요인을 도출하여 UNet과 DiT 아키텍처에서 이론적 예측을 검증함으로써 확산 학습 재현성의 원칙적 기준선을 제시한다.

arXiv:2607.03580v1cs.LG

기하학적 정렬의 조건: UNet, ViT, DiT 아키텍처에서의 이면체 은닉 상태 변환

When Geometry Aligns: Dihedral Hidden-State Transformations in UNet, ViT, and DiT Architectures

이면체 군(dihedral group)의 반사 변환을 UNet, ViT, DiT 아키텍처의 중간 은닉 상태에 통제된 내부 개입으로 적용하여, 기하학적으로 일관된 변환은 특징(feature) 안정성을 향상시키는 반면 비일관된 변환은 예측 가능한 공간적 정합 실패를 유발함을 SCS, AMS, Drift 등의 활성화 수준 진단 지표와 FID, CLIP 점수를 통해 실증하였다. Stable Diffusion 2.1 U-Net 실험을 중심으로 ViT 및 DiT 분석을 함께 제시하며, 공간적으로 구조화된 비전 및 확산 모델에서 안정적인 은닉 상태 개입을 위한 핵심 원칙으로 기하학적 일관성을 확립한다.

arXiv:2607.03517v1cs.LG

브라운 브리지 확산 모델을 위한 가우시안 혼합 기반 스케줄 설계

Mixture-of-Gaussians-Guided Schedule Design for Brownian Bridge Diffusion Models

브라운 브리지 확산 모델(BBDM)의 스케줄 설계에 원칙적 분석 프레임워크가 부재했던 문제를 해결하기 위해, 가우시안 혼합(MoG) 사전 분포 하에서 BBDM 역방향 동역학을 분석하여 닫힌 형식의 이상적 사후 분포와 MMSE 디노이저를 도출했다. 이를 기반으로 지각적 품질을 목표로 하는 Wasserstein 기준과 재구성 충실도를 목표로 하는 MSE 기준이라는 두 가지 스케줄 설계 목적 함수를 수립하고, FFHQ 데이터셋의 인페인팅·디블러링·초해상도 태스크에서 해당 기준의 실용적 가치를 검증했다.

arXiv:2607.03154v1cs.CL

다중 도메인 지식 그래프 완성을 위한 조건부 디퓨전 기반 지식 전이

Conditional Diffusion Guided Knowledge Transfer for Multi-Domain Knowledge Graph Completion

다중 도메인 지식 그래프 완성(MKGC)은 다른 보조 지식 그래프(KG)로부터 지식을 전이하여 대상 KG의 누락된 트리플 예측을 개선하는 것을 목표로 한다. 기존 방법들은 일반적으로 KG 간 동등 엔티티에 일관성 제약을 적용하여 지식을 전이하는데, 이는 엔티티의 도메인 특화 문맥 정보를 억제할 위험이 있다. 이러한 설계는 모든 KG 도메인의 엔티티 표현 정보를 손상시켜, 특히 저자원 데이터 환경에서 성능 향상을 저해할 수 있다. 이를 해결하기 위해, 우리는 MKGC를 위한 생성 기반 패러다임을 최초로 제안하고, 조건부 디퓨전 기반 지식 전이 프레임워크인 DMKGC를 제안한다. 우리의 핵심 아이디어는 각 KG를 엔티티 전체 정보의 부분적 관점으로 간주하고, 보조 KG를 조건으로 하는 디퓨전 모델을 통해 정보가 풍부한 도메인 일반 엔티티 임베딩을 생성하는 것이다. 구체적으로, 먼저 도메인 무관 엔티티 임베딩을 사전 엔티티 임베딩으로 초기화한 후 개별 KG 내에서 이를 인코딩한다. 이후 보조 KG로부터 동등 엔티티를 융합하여 조건부 디퓨전 생성 가이던스로 활용한다. 사전 엔티티 임베딩을 대리 생성 목표로 사용함으로써 이 조건부 생성이 특정 조건 KG에 편향되지 않도록 보장한다. 동시에, 생성된 임베딩이 KG 전반에 걸쳐 예측력을 갖도록 학습하여 도메인 특화 정보를 보존한다. 3개 벤치마크의 14개 KG에 대한 광범위한 실험을 통해 꼬리 엔티티 예측에서 최신 방법 대비 평균 MRR 4.3% 향상을 달성하였으며, 저자원 데이터 환경에서도 지속적인 성능 향상을 보였다.