arXiv:2611.19653v1 stat.ML

잡음 제거 오토인코더의 기하학적 이해와 이미지 잡음 제거 응용

A Geometric Understanding of Denoising Autoencoder with Applications to Image Denoising

Haoran Yan, Rongjie Lai, Wenjing Liao

제출 2026-11-17

한국어 초록

잡음 제거 오토인코더는 잡음이 섞인 관측에서 깨끗한 데이터를 복원하는 데 높은 실험 성능을 보였다. 그러나 그 바탕이 되는 통계적 성질은 충분히 연구되지 않았다. 본 논문은 다양체 가설 아래에서 잡음 제거 오토인코더를 연구한다. 깨끗한 데이터는 고차원 주변 공간에 매장된 저차원 매끄러운 다양체 위에 있고, 관측값에는 등방성 가우스 잡음이 더해진다고 가정한다. 단일 다양체, 쌍마다 서로 떨어진 다양체들의 유한 합집합, 서로 교차하는 다양체들의 유한 합집합이라는 세 기하학적 조건에서 일반화 보장을 확립한다. 국소 좌표계 표현, 단위 분할, 신경망 근사로 기대 제곱 복원 오차의 상한을 도출한다. 단일 다양체와 서로 떨어진 다양체의 합집합에서는 오차가 세 항으로 이루어진다. 표본 크기에 따라 달라지는 $n^{-2/(d+2)}\log^4 n$ 차수의 통계 항, 접선 방향 잡음으로 생기는 $d\sigma^2/D$ 차수의 잔차 항, 다양체 사영이 실패할 때 발생하는 지수적으로 작은 꼬리 항이다. 여기서 $D$는 데이터를 담는 주변 공간의 차원, $d$는 깨끗한 데이터 다양체의 내재 차원, $\sigma^2$는 잡음 크기 제곱의 기댓값이다. 다양체가 교차하는 경우에는 교차점 근방의 확률 질량에 따라 결정되는 추가 모호성 항을 확인한다. 합성 다양체와 실제 이미지 데이터셋을 사용한 수치 실험은 예측한 표본 크기 스케일링 법칙을 뒷받침하고, 다양체의 교차점 근처에서 복원이 더 모호해짐을 보여 준다.

원문 초록

Denoising autoencoders have shown strong empirical performance in recovering clean data from their noisy observations, yet their underlying statistical behavior remains underexplored. In this paper, we study denoising autoencoders under the manifold hypothesis, assuming that clean data are supported on low-dimensional smooth manifolds embedded in a high-dimensional ambient space, while noisy observations are generated by isotropic Gaussian noise. We establish generalization guarantees in three geometric scenarios: a single manifold, a pairwise separated finite union of manifolds, and a finite union of intersecting manifolds. Using local chart representations, partitions of unity, and neural network approximation, we derive upper bounds for the expected squared reconstruction error for denoising autoencoder. In the single-manifold and separated-union scenarios, the error consists of a sample-dependent statistical term of order $n^{-2/(d+2)}\log^4 n$, a residual term of order $d\sigma^2/D$ caused by tangential noise, and an exponentially small tail term associated with failure of the manifold projection. Here $D$ is the data ambient dimension, $d$ is the intrinsic dimension of the clean-data manifold, and $\sigma^2$ is the expected squared noise magnitude. In the scenario of intersecting manifolds, we further identify an additional ambiguity term determined by the probability mass near the intersection neighborhood. Numerical experiments on synthetic manifolds and real image datasets support the predicted sample-size scaling law and illustrate the additional reconstruction ambiguity near manifold intersections.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19653v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.