PyTorchKR Papers

최신 논문

총 226편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.22265v3cs.LG

Entropy-Controlled Flow Matching

Modern vision generators transport a base distribution to data through time-indexed measures, implemented as deterministic flows (ODEs) or stochastic diffusions (SDEs). Despite strong empirical performance, standard flow-matching objectives do not directly control the information geometry of the trajectory, allowing low-entropy bottlenecks that can transiently deplete semantic modes. We propose Entropy-Controlled Flow Matching (ECFM): a constrained variational principle over continuity-equation paths enforcing a global entropy-rate budget d/dt H(mu_t) >= -lambda. ECFM is a convex optimization in Wasserstein space with a KKT/Pontryagin system, and admits a stochastic-control representation equivalent to a Schrodinger bridge with an explicit entropy multiplier. In the pure transport regime, ECFM recovers entropic OT geodesics and Gamma-converges to classical OT as lambda -> 0. We further obtain certificate-style mode-coverage and density-floor guarantees with Lipschitz stability, and construct near-optimal collapse counterexamples for unconstrained flow matching.

arXiv:2510.17917v2cs.LG

Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

Data unlearning aims to remove the influence of specific training samples from a trained model. In fine-tuning methods, data unlearning relies primarily on loss maximization over forget samples, which often leads to quality degradation or incomplete forgetting. Existing methods perform unlearning uniformly across diffusion stages, ignoring diffusion dynamics from noise to data. Our systematic study of diffusion phases shows that forgetting in diffusion models is uneven across time and frequency, with theoretical justification of distributive distortion and forgetting-utility trade-off. By selectively forgetting time and frequency in diffusion models, we achieve both higher unlearning success rates and improved generation quality across diverse settings, including both conditional and unconditional scenarios. We also introduce an improved SSCD metric that measures dissimilarity using a normalized perturbation distance. Together, we provide practical insights for understanding and improving data unlearning in diffusion models.

arXiv:2606.30053v1stat.ML

Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge

연속 방정식(continuity equation)과 최적 수송(optimal transport)을 출발점으로 삼아 flow matching, 확산 모델, Schrödinger bridge 간의 수학적 연결 관계를 체계적으로 정리한 강의 노트로, Benamou–Brenier 공식, 엔트로픽 OT(entropic OT), Fokker-Planck 방정식을 거쳐 각 생성 모델링 기법의 통일된 이론적 토대를 설명한다.

arXiv:2602.16634v2stat.ML

Enhanced Diffusion Sampling: Efficient Rare Event Sampling and Free Energy Calculation with Diffusion Models

BioEmu와 같은 확산 모델 기반 평형 샘플러가 느린 혼합 문제는 해결했지만 희귀 상태(rare state) 추정 문제는 여전히 남아 있다는 한계를 극복하기 위해, 편향 앙상블(biased ensemble) 생성 후 정확한 재가중(reweighting)으로 평형 통계를 복원하는 enhanced diffusion sampling 프레임워크를 제안하며 UmbrellaDiff, MetaDiff, ΔG-Diff의 세 알고리즘으로 구체화했다. 단백질 폴딩 자유 에너지를 포함한 다양한 시스템에서 GPU 수분~수시간 내에 정확하고 확장 가능한 평형 특성 추정을 달성해 기존 방법 대비 극적인 효율 개선을 입증했다.

arXiv:2511.17038v4cs.AI

DAPS++: 분리된 사후 어닐링을 통한 확산 역문제의 재고

DAPS++: Rethinking Diffusion Inverse Problems with Decoupled Posterior Annealing

스코어 기반 확산 모델이 역문제(inverse problem)를 풀 때 사전 분포(prior)가 실질적인 복원보다 초기화 역할만 한다는 사실을 분석하고, 이를 바탕으로 확산 기반 초기화와 가능도(likelihood) 기반 정제를 완전히 분리한 DAPS++를 제안한다. DAPS++는 기존 방법 대비 함수 평가 횟수(NFEs)와 측정 최적화 단계를 약 90% 줄이면서 FFHQ 및 ImageNet 데이터셋의 다양한 이미지 복원 태스크에서 동등하거나 우수한 성능을 달성한다.

arXiv:2606.30574v1cs.LG

유효 전송 맵 추정의 근본적 한계

The Fundamental Limits of Valid Transport Map Estimation

확산 모델, 플로우 매칭(flow matching), 정규화 흐름(normalizing flows) 등 전송 맵 기반 생성 모델의 통계적 한계를 미니맥스(minimax) 프레임워크로 형식화하여, 유효한 전송 맵 추정의 샘플 복잡도 하한을 도출한다. 최적 전송(OT) 문헌의 안정성 가정 하에서는 임의의 유효 전송 맵 추정이 OT 맵 추정과 통계적으로 동등하게 어렵지만, 이 가정이 깨지는 경우에는 대안적 전송 맵이 OT 맵보다 훨씬 빠른 학습률로 추정될 수 있음을 보인다.

arXiv:2606.30414v1cs.LG

보상 모멘트 매칭 증류를 활용한 확산 모델 미세조정

Diffusion Fine-tuning with Rewarded Moment Matching Distillation

확산 모델의 지식 증류와 강화학습 기반 보상 최적화를 동시에 수행하는 새로운 프레임워크인 RMMD(Rewarded Moment Matching Distillation)를 제안하며, 온-정책 샘플링 루프 적용과 증류 손실을 KL 정규화 프록시로 재활용해 고품질 생성을 유지한다. ImageNet FID-보상 파레토 프론트에서 DI++, DRaFT, HyperNoise 대비 우수한 성능을 보이며, 기상 예측 모델 GenCast에 적용 시 7.5배 속도 향상과 함께 대상 기상 변수의 93%에서 교사 모델을 능가하는 결과를 달성했다.

arXiv:2606.29287v1cs.LG

궤적 매칭을 넘어서: 주변 분포 정렬을 통한 리플로우

Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment

리플로우(reflow) 기반 지식 증류에서 궤적 매칭(trajectory matching)만으로는 학생 모델이 유도하는 주변 분포(marginal distribution)를 완전히 결정하지 못한다는 이론적 한계를 규명하고, 이를 해결하기 위해 보조 학습 가능 네트워크나 적대적 최적화 없이 각 증류 구간 끝점에서 학생-교사 주변 분포 불일치를 패널티로 부과하는 주변 정렬(marginal-alignment) 정규화기를 제안한다. SD 1.5, SDXL 등 벤치마크에서 소수 단계 생성 품질을 일관되게 개선함을 실험으로 검증하며, 텔레스코핑 총 변동(telescoping total-variation) 상한을 통해 이론적 보장도 함께 제시한다.

arXiv:2606.27696v1cs.LG

확산 모델을 위한 클래스 빈도 유도 노이즈 스케줄

Class-frequency Guided Noise Schedule for Diffusion Models

본 논문에서는 확산 모델 내 클래스 빈도와 다중 스케일 노이즈 스케줄 간의 상관관계를 최초로 조사한다. 점수 기반(score-based) 생성 모델에서 저밀도 영역은 점수가 부정확하게 추정되는 경우가 많아 생성 품질을 저하시킨다. 다중 스케일 노이즈 스케줄이 확산 과정에서 이 문제를 완화할 수 있지만, 저빈도 클래스는 여전히 큰 저밀도 영역에 직면하여 고빈도 클래스보다 점수 추정이 더 부정확해지는 문제에 직면한다. 또한 고빈도 클래스가 점수 공간을 주도하는 경향이 있어, 대부분의 데이터 포인트가 이러한 클래스의 샘플을 생성하는 방향으로 수렴한다. 그 결과, 저빈도 클래스 내에서 생성된 샘플은 품질이 최적이 아니고 다양성이 제한적이다. 이 문제를 해결하기 위해, 저빈도 클래스에 더 큰 스케일의 노이즈를 부여해야 한다는 통찰을 활용한 클래스 빈도 유도(Class-frequency Guided, CFRG) 노이즈 스케줄을 제안한다. 우리 방법의 효과를 보여주기 위해, CIFAR-100-LT 및 ImageNet-LT 등 불균형 데이터셋을 사용하여 이미지 생성, 이미지 분류, 텍스트-이미지 생성 등 다양한 작업에서 실험을 수행한다. CFRG 노이즈 스케줄을 적용하여 기준선 대비 상당한 향상을 달성하고, 노이즈 스케줄 설계에서 빈도 통계의 핵심적인 역할을 보여준다.

arXiv:2605.29072v3cs.LG

실세계 에너지 소비 예측을 위한 확산 모델 기반 데이터 동화

Diffusion Model-Based Data Assimilation for Real-World Energy Consumption Forecasting

에너지 소비의 정확한 추정과 예측은 전력계통 운영, 계획, 수요 측면 관리에 중요하다. 그러나 실제로는 완전하고 시의적절한 측정값이 항상 제공되지 않을 수 있으며, 관측 데이터는 부분적이거나 노이즈가 있거나 지연될 수 있다. 이는 진화하는 소비 상태를 예측하기 위한 학습 기반 예측 모델과, 순차적 예측 보정을 위한 데이터 동화 방법의 사용을 동기 부여한다. 본 연구에서는 실제 에너지 소비 데이터에 대한 고차원 데이터 동화 문제를 다룬다. 순방향 예측은 사전학습된 블랙박스 시공간 예측 모델에 의해 제공되며, 필터링 절차에서 상태 전파기(state propagator)로 취급된다. 우리는 부분적이고 노이즈가 있는 관측을 동화하고 시간에 따른 예측 궤적을 보정하기 위해 앙상블 Score Filter(EnSF)를 사용한다. EnSF는 필터링 분포를 근사하기 위해 score 기반 확산 모델을 사용하며, 폐형 score 표현과 Monte Carlo 근사를 통해 동화 과정에서 신경망 score 모델의 재학습을 피한다. 수치 실험 결과, 학습된 예측 모델의 개루프(open-loop) 전파는 장기 구간에서 신뢰성을 잃을 수 있음을 보여주며, EnSF 기반 보정은 상태 추정을 실질적으로 개선한다. 앙상블 Kalman Filter(EnKF)와의 비교에서 EnSF가 본 연구에서 고려한 비선형 관측 설정 하에서 더 강한 보정을 제공함을 추가로 보여준다.

arXiv:2606.27954v1stat.ML

점수 추정을 위한 국소 Fokker-Planck 기하학: 열 구(heat-ball) 평균값 표현과 정확한 고차원 샘플링

Local Fokker--Planck Geometry for Score Estimation: Heat-Ball Mean-Value Representations and Exact High-Dimensional Sampling

점수 기반 생성 모델(score-based generative models)에서 비선형 drift를 가진 전방 확산의 점수 함수를 추정할 때 기존 전역 평균화 방식이 저밀도 영역에서 오차를 키우는 문제를 해결하기 위해, 누적 분산 좌표로의 시간 변환을 통해 Fokker-Planck 방정식을 표준 열 방정식으로 변환하고 열 구(heat-ball) 평균값 표현을 이용한 국소 포물형 평균화 프레임워크를 제안한다. 이와 함께 고차원 Monte Carlo 평가를 위한 $\kappa$-measure 기반 정확한 인수분해 샘플러(Algorithm 1)를 도입하여 균등 중요도 샘플링 대비 $\Omega(\sqrt{d})$의 분산 이점을 이론적으로 증명하고, 2D 구조화 데이터 및 256차원 MNIST에서 저밀도 영역의 강인성을 실험적으로 검증한다.

arXiv:2606.27617v1cs.CL

마스킹 언어 흐름 모델

Masked Language Flow Models

마스킹 확산 모델(MDM)의 병렬 디코딩 한계와 흐름 언어 모델(FLM)의 다단계 추론 취약성을 동시에 극복하기 위해, 연속 확률 보간(continuous stochastic interpolant)으로 부분 마스킹 시퀀스와 클린 시퀀스를 연결하는 Masked Language Flow Models(MLFM)을 제안한다. 사전학습된 MDM을 경량 적응으로 MLFM으로 변환하고, 연속 디노이징과 확신 토큰의 이산적 언마스킹을 교대하는 새로운 샘플러를 통해 GSM8K와 MT-Bench에서 흐름 기반 언어 모델이 추론 및 인스트럭션 수행 과제를 처음으로 스케일링하여 해결할 수 있음을 입증하였다.

arXiv:2605.25042v2cs.CV

원칙적 사후 매칭을 통한 비편향 디퓨전 변분 역변환

Unbiased Diffusion Variational Inversion via Principled Posterior Matching

기존 역문제용 스코어 기반 방법들은 역변환 분포와 베이지안 사후 분포 사이의 KL 발산을 근사적으로 최소화하는 경우가 많다. 이러한 근사는 심각한 모드 붕괴와 신뢰할 수 없는 불확실성 정량화를 초래한다. 본 논문에서는 교묘한 근사에 의존하기보다 변분 추론의 기본으로 돌아가는 프레임워크인 Principled Posterior Matching(PPM)을 제안한다. 휴리스틱 근사에 의존하는 대신, Fisher 발산의 적분을 통합하여 KL 발산의 정확한 최적화를 엄밀하게 공식화한다. 우리는 이 적분의 계산 가능하고 동등한 그래디언트 형태를 유도하여, 이전 근사가 도입한 편향 없이 정밀한 최적화를 가능하게 한다. 우리의 분석은 이전 방법들의 모드 붕괴가 이러한 근사 격차에서 직접 비롯됨을 명확히 밝힌다. 이론적 해법을 뒷받침하여, PPM은 두 가지 상보적 패러다임을 통합한다: (1) 변분 추론에서 PPM은 역변환 다양성과 불확실성 정량화를 크게 개선하는 mass-covering 발산을 채택한다; (2) 상환 추론(amortized inference)에서는 빠른 단일 단계 재구성을 위한 효율적인 재구성 네트워크 학습을 가능하게 한다. 또한 우리의 공식화는 Fisher 발산 적분의 일반화를 통해 더 넓은 발산 척도 계열로 자연스럽게 확장된다. 우리는 인페인팅, 초해상도 형광 현미경, 전파 간섭계 블랙홀 영상 등 도전적인 계산 영상 작업 전반에서 PPM을 검증한다. 모든 실험에서 PPM은 우수한 재구성 충실도, 충실한 다중모드 사후 복원, 그리고 잘 교정된 불확실성 추정을 달성하여 과학 영상을 위한 견고한 프레임워크를 구축한다.

arXiv:2407.01014v2cs.CV

An Expectation-Maximization Algorithm for Training Clean Diffusion Models from Corrupted Observations

The user wants only a JSON object with title_ko and abstract_ko. No markdown, no code fences. I'll provide the translation directly. {"title_ko": "손상된 관측으로부터 깨끗한 확산 모델을 학습하는 기대-최대화 알고리즘", "abstract_ko": "확산 모델은 복잡한 이미지 사전분포(prior)를 모델링할 수 있는 능력 덕분에 영상 역문제(imaging inverse problems) 해결에 뛰어난 성능을 보인다. 그러나 학습을 위해 대규모의 깨끗한 데이터셋에 의존한다는 점은 깨끗한 데이터가 부족한 상황에서의 실용적 활용을 제한한다. 본 논문에서는 손상된 관측으로부터 확산 모델을 학습하는 기대-최대화(expectation-maximization, EM) 접근법인 EMDiffusion을 제안한다. 우리 방법은 알려진 확산 모델을 사용하여 손상된 데이터로부터 깨끗한 이미지를 복원하는 단계(E-step)와, 이러한 복원 결과를 바탕으로 확산 모델 가중치를 정제하는 단계(M-step)를 번갈아 수행한다. 이 반복 과정을 통해 학습된 확산 모델은 점진적으로 진정한 깨끗한 데이터 분포로 수렴한다. 우리는 무작위 인페인팅(random inpainting), 노이즈 제거(denoising), 디블러링(deblurring) 등 다양한 계산 영상(computational imaging) 과제에 대한 광범위한 실험을 통해 방법을 검증하였으며, 새로운 최첨단(state-of-the-art) 성능을 달성하였다."}

arXiv:2606.05950v2cs.AI

Edit-R2: 다중 턴 이미지 편집을 위한 문맥 인식 강화학습

Edit-R2: Context-Aware Reinforcement Learning for Multi-Turn Image Editing

텍스트 기반 이미지 편집은 확산 모델(diffusion model)과 통합 멀티모달 기반 모델(unified multimodal foundation model)을 통해 빠르게 발전해 왔다. 그러나 기존 방법의 대부분은 단일 턴(single-turn) 설정에 국한되어, 사용자가 일련의 지시를 통해 이미지를 반복적으로 정제하는 보다 현실적인 시나리오인 다중 턴 문맥 내 편집(multi-turn in-context editing)을 간과하고 있다. 이 설정에서 모델은 누적된 세션 수준 제약을 유지하면서 각 새로운 지시를 따라야 하며, 두 가지 밀접히 연관된 실패 모드의 도전에 직면한다: 긴 문맥 희석(long-context dilution)—드문 텍스트 제약이 점점 늘어나는 교차 배치된 이미지-텍스트 이력에서 회복하기 어려워지는 현상—과 상태 오염(state contamination)—이전 편집 실수가 이후 생성 결과를 악화시키는 현상이다. Edit-R2를 소개한다. 이는 통합 멀티모달 모델을 위한 새로운 강화학습 사후 학습 프레임워크이다. Edit-R2는 각 편집 턴 전에 산발적인 과거 제약을 명시적 추론 추적으로 효과적으로 통합하는, 작동 중인 세션 의도(operative session intent)를 재구성한다. 또한 이산 텍스트 공간에서의 의도 재구성 생성과 연속 잠재 공간에서의 flow-matching 이미지 생성을 공동으로 최적화하는 통합 목적 함수를 통해 추론과 생성 모두에 걸친 다중 턴 RL을 가능하게 하며, 궤적 필터링(trajectory filtering) 메커니즘이 상태 오염 하에서 학습을 안정화하기 위해 손상된 rollout을 억제한다. 체계적인 평가를 위해 누적된 세션 제약에 대한 지시 따르기(IF), 콘텐츠 일관성(CC), 전역 인식(GA)에 대한 자동화된 지표를 갖춘 다중 턴 문맥 내 편집 대규모 벤치마크 MICE-Bench를 소개한다. 실험 결과 Edit-R2는 다중 턴 문맥 내 편집을 크게 개선하며, 강력한 베이스라인 대비 경쟁력 있는 성능을 달성한다.

arXiv:2606.26566v1cs.CR

모달리티를 아우르는 적대적 확산: 텍스트, 비전, 비전-언어 모델의 공격·방어·평가에 대한 융합 서베이

Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

텍스트·LLM, 이미지 분류기, 비전-언어 모델, 확산 기반 방어로 분절된 적대적 확산 연구를 단일 프레임워크로 통합한 서베이로, 50편을 6계급 분류 체계와 5차원 평가 기준(공격 성공률, 전이성, 쿼리 예산, perplexity, 방어 회피)으로 정리하고 LLM 측 문헌의 반복적 약점과 후속 연구 의제를 제시한다. 공격자-방어자 이중 관점으로 확산 기반 공격·방어를 모달리티 전반에 걸쳐 비교하며, 동반 카탈로그와 스프레드시트를 함께 공개한다.

arXiv:2606.26769v1cs.AI

ResilPhase: 확산 가속을 위한 플러그 앤 플레이 위상 매핑 및 노이즈 내성 거시 궤적 외삽

ResilPhase: Plug-and-Play Phase Mapping and Noise-Resilient Macro-Trajectory Extrapolation for Diffusion Acceleration

확산 모델(DiT)의 높은 가속 비율에서 기존 cache-then-forecast 방식이 품질을 크게 떨어뜨리는 원인을 연속 궤적과 불일치한 외삽·도함수 불안정성으로 분석하고, ODE 공간에서 Global Drift를 도함수 없는 무심점 Lagrange 외삽과 유계 Phase Mapping으로 예측하는 ResilPhase를 제안한다. FLUX.1-dev와 HunyuanVideo에서 공격적 가속 조건에서도 최첨단 수준의 충실도를 유지하며, FLUX.1-dev와 HunyuanVideo에서 약 5배 속도 향상을 달성한다.

arXiv:2606.26285v1cs.CR

TEMPO-Diffusion: 확산 모델의 시간적 노출 악성 포이증

TEMPO-Diffusion: Temporally Exposed Malicious Poisoning of Diffusion Models

확산 모델의 노이즈 기반 백도어(backdoor) 공격이 입력 시점 트리거·비타겟·분포 밖 타겟 생성에 의존해 은밀성과 실용성이 제한되는 한계를 보완하기 위해, TEMPO-Diffusion은 악성 분포 이동을 시간적·분포 내(in-distribution) 노출로 한정하는 타겟 백door 프레임워크로 특정 클래스 공격, 다중 서브 이미지 백door, 시간 조건 트리거 인페인팅을 지원한다. 캐나다·미국 도로 표지판 중심 데이터셋 CALISA와 CIFAR10·GTSRB·CALISA 실험에서 클래스별 합성 데이터를 포이즌하고 다운스트림 분류기에서 높은 공격 성공률을 유도함을 보였다.

arXiv:2606.27192v1cs.CV

LISA: 시각 조건 제어 생성을 위한 가능도 점수 정렬(Likelihood Score Alignment)

LISA: Likelihood Score Alignment for Visual-condition Controllable Generation

시각 조건 기반 제어 생성의 dual-branch 패러다임에서 메인 네트워크는 무조건 score, 사이드 네트워크는 likelihood score 역할을 한다는 관점으로 LISA(Likelihood Score Alignment)를 제안하고, 사이드 네트워크 중간 특징을 근사 likelihood score와 정렬하는 정규화 손실을 확산 학습과 함께 최적화한다. 다양한 이미지·비디오 태스크와 diffusion/flow 모델에서 학습 수렴을 가속하고 합성 품질을 개선하며, 추가 학습 비용은 거의 없고 추론 비용은 들지 않는다.

arXiv:2606.26938v1cs.CV

중요한 것에 집중: 디퓨전 MoE를 위한 현著성 활용 정확 라우팅

Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE

기존 디퓨전 MoE는 디노이징 과정의 노이즈가 섞인 잠재 특징에 의존해 라우터가 중요 토큰에 계산 자원을 정확히 배분하지 못하는 문제가 있다. SharpMoE는 깨끗한 잠재 특징을 노이즈 없는 라우팅 안내로 활용하는 사후학습(post-training) 프레임워크와 궤적 라우팅 손실을 제안해, 고노이즈 단계에서도 현著성 기반 전문가 할당을 가능하게 하고 사전학습·수렴 MoE 모델의 시각 생성 성능을 플러그 앤 플레이 방식으로 향상시킨다.