arXiv:2606.21907v1 stat.ME

시뮬레이션 기반 추론을 이용한 비모수적 디컨볼루션 및 노이즈 제거

Nonparametric Deconvolution and Denoising using Simulation Based Inference

Ritwik Vashistha, Abhra Sarkar, Arya Farahi

제출 2026-06-20

한국어 초록

잠재 신호는 종종 측정 노이즈에 가려지지만, 복잡한 시스템의 기본 법칙과 역학을 인코딩한다. 신호와 그 분포를 모두 학습하는 것은 과학적 추론에서 핵심 과제로 남아 있다. 노이즈는 종종 무시할 수 없으며, 표현력 있는 생성 모델의 가능도는 자주 해석 불가능하다. 우리는 합성곱 최대 평균 불일치(convolutional maximum mean discrepancy, convMMD) 손실을 활용하여, 가법 측정 오차 하에서 비모수적 밀도 디컨볼루션과 경험적 베이즈(empirical Bayes) 노이즈 제거를 위한 가능도 없는(likelihood-free) 프레임워크를 제안한다. 우리 방법은 관측 데이터 분포를 노이즈 합성곱 모델 분포와 일치시킴으로써 잠재 생성 모델을 학습한다. 이는 다변량 동분산(homoscedastic) 또는 이분산(heteroscedastic) 노이즈에 대한 미분 가능한 시뮬레이션 기반 목적함수를 산출하며, 가우스 혼합과 정규화 흐름(normalizing flows) 같은 표현력 있는 sieve 클래스와 호환된다. 학습된 밀도는 개별 잠재값의 사후 노이즈 제거를 위한 경험적 사전 분포로 작용한다. 이론적으로, convMMD를 모수에서 비모수 추정으로 확장하고, Sobolev 평활도 하에서 경험적 sieve 최소화의 유한 표본 경계와 $L_2$ 수렴률을 증명한다. 이 수렴률은 고전적 역문제 의존성을 복원한다: ordinary-smooth 노이즈에는 다항, super-smooth 노이즈에는 대수(logarithmic)적이다. 우리 방법은 생성적 잠재 분포 모델 하에서 디컨볼루션과 노이즈 제거를 위한 실용적이고 이론적으로 견고한 접근법을 제공한다.

원문 초록

Latent signals are often obscured by measurement noise, yet encode the underlying laws and dynamics of complex systems; learning both the signals and their distributions remains a central challenge in scientific inference. The noise is often non-negligible, and the likelihoods for expressive generative models are often intractable. We utilize a convolutional maximum mean discrepancy (convMMD) loss and propose a likelihood-free framework for nonparametric density deconvolution and empirical Bayes denoising under additive measurement error. Our method learns a latent generative model by matching the observed data distribution to the noise-convolved model distribution. This yields a differentiable, simulation-based objective for multivariate homoscedastic or heteroscedastic noise, compatible with expressive sieve classes such as Gaussian mixtures and normalizing flows. The learned density then serves as an empirical prior for posterior denoising of individual latent values. Theoretically, we extend convMMD from parametric to nonparametric estimation, proving finite-sample bounds for empirical sieve minimizers and $L_2$ convergence rates under Sobolev smoothness. These rates recover the classical inverse-problem dependence: polynomial for ordinary-smooth and logarithmic for super-smooth noises. Our method provides a practical, theoretically grounded approach to deconvolution and denoising under generative latent distribution models.

요약

가법 측정 오차로 가려진 잠재 신호의 분포 추정과 개별 노이즈 제거를 위해 convMMD 손실 기반의 가능도 없는(likelihood-free) 시뮬레이션 추론 프레임워크를 제안하며, 관측 데이터 분포를 노이즈 합성곱 모델 분포와 맞춰 잠재 생성 모델을 학습한다. Sobolev 평활도 하에서 유한 표본 경계와 L2 수렴률을 증명해 ordinary-smooth 노이즈에는 다항, super-smooth 노이즈에는 대수적 수렴 특성을 회복한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.21907v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13047v2cs.AI공통 태그 Bayesian Inference, Density Estimation, Denoising

확산 모델과 개념 형성

Diffusion Models and Concept Formation

인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.

arXiv:2607.23026v1cs.LG공통 태그 Density Estimation, Denoising, normalizing flows

올인원: 평균장 게임 설계로서의 생성 모델링

All in One: Generative Modeling as Mean-Field Game Design

평균장 게임(MFG)은 연속 시간 생성 모델링에 대한 통합적 관점을 제공한다. 하나의 변분 문제의 특수 사례로서 Continuous Normalizing Flows, OT-Flow, Score-based Models, Schrödinger Bridges 등 12개의 주요 모델을 환원하는 비용 튜플(cost tuple)을 통해 말이다. 그러나 이 공간의 두 차원은 전혀 탐색되지 않은 채 남아 있다. 상호작용 항 $\mathcal{I}$는 많은 기존 모델에서 0으로 설정되어 있고, 풍부한 MFG 솔버(solver) 계열은 생성 모델링에 적용된 적이 없다. 우리는 MFGLab이라는 오픈 소스 PyTorch 라이브러리로 두 공백을 모두 해소한다. 이 라이브러리의 주요 API는 비용 튜플이며, 12개 모델 모두 네 개의 조합 가능한 비용 함수로 지정되고, 학습 루프, log-야코비안, 역 ODE 샘플러는 자동으로 공유된다. 또한 모드 커버리지(mode coverage)를 장려하기 위해 미분 가능한 엔트로피 함수형(differentiable entropy functional)을 사용하는 새로운 비용 설계 DI-Flow를 제안하고, 확률적 역학(stochastic dynamics) 행에서 신경망 학습을 상당히 능가하는 학습 기반 MFG 솔버를 제공한다. 두 개의 2차원 벤치마크에서의 실험은 통합 API가 수작업 구현 대비 손실 없이 동등함을 확인한다.

arXiv:2610.13397v1stat.ML공통 태그 Bayesian Inference, Density Estimation

모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약

Model-free Bayesian Clustering and Multimodal Posterior Summarisation

본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.

arXiv:2610.13656v1stat.ML공통 태그 Bayesian Inference, normalizing flows

비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론

Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields

잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.