최적 정규화를 위한 비등방성 팽창의 기하학
The Geometry of Anisotropic Dilation for Optimal Regularization
한국어 초록
데이터 기반 역문제(inverse problem)의 핵심 질문은 데이터 분포의 기하학적 구조에 적응하는 정규화(regularization) 기법을 어떻게 구축할 것인가이다. 최적 정규화에 대한 최근 연구는 광범위한 깁스(Gibbs) 클래스 내에서 분포 $P$에 가장 잘 부합하는 정규화 기법이 방향 의존적인 단일 방사형 요약 통계량 $ρ_P$에 의해 결정됨을 보여준다. 이는 데이터를 변환함으로써 정규화 기법의 기하학적 구조를 제어할 수 있는 방법을 시사한다. 특히, 어떤 변환이 $ρ_P$에 단순하고 명시적인 방식으로 작용하는가? 이러한 변환이 결과적으로 도출되는 변분 문제의 최적화(optimization) 특성을 개선하거나 고정된 기본 정규화 기법을 데이터에 적응시킬 수 있는가? 이러한 질문을 다루기 위해, 우리는 각 점을 구면(sphere) 위의 양의 프로파일에 따라 유클리드 반직선을 따라 재조정하는 방향 보존 사상인 비등방성 팽창(anisotropic dilation)을 도입한다. 그 단순함에도 불구하고, 이 군(family)은 방사형 요약 통계량 공간에서 전이적으로 작용한다. 즉, 깁스 클래스의 모든 목표 정규화 기법은 단일 명시적 프로파일을 통해 임의의 원천 분포로부터 도달할 수 있다. 우리는 분포에 대한 결과적인 궤도(orbit) 구조를 규명하고, 고정된 기본 정규화 기법을 데이터에 최적으로 적응시키는 프로파일을 닫힌 형식(closed form)으로 유도하며, 등방성 재조정 대비 성능 향상이 여러 자연스러운 군에서 양수임이 증명 가능한 젠센 갭(Jensen gap)에 의해 좌우됨을 보인다. 또한 기본 정규화 기법과 비등방성 프로파일을 공동으로 학습할 때의 유한 표본 일반화 경계를 도출하고, 프로파일의 로그가 선형 특징(feature) 모델이나 희소 렐루(ReLU) 네트워크로 매개변수화될 때의 명시적 수렴 속도를 확립한다. 이러한 이론을 바탕으로 기본 정규화 기법과 비등방성 프로파일을 매개변수화하여 표본으로부터 공동으로 학습함으로써, 변분 역문제를 위한 데이터 적응형 정규화 기법을 도출한다. 통제된 2차원 군 및 MNIST 노이즈 제거(denoising) 실험은 프로파일을 학습하는 것이 성능을 더욱 향상시킴을 보여준다.
원문 초록
A central question in data-driven inverse problems is how to construct a regularizer that adapts to the geometry of the data distribution. Recent work in optimal regularization shows that, within a broad Gibbs class, the regularizer best matched to a distribution $P$ is determined by a single, direction-dependent radial summary statistic $ρ_P$. This suggests a way to control regularizer geometry by transforming the data. In particular, which transformations act on $ρ_P$ in a simple, explicit way? Can they improve the optimization properties of the resulting variational problems or adapt a fixed base regularizer to data? To address these questions, we introduce anisotropic dilation, a direction-preserving map that rescales each point along its Euclidean ray by a positive profile on the sphere. Despite its simplicity, this family acts transitively on the space of radial summary statistics: any target regularizer in the Gibbs class can be reached from any source distribution by a single explicit profile. We characterize the resulting orbit structure on distributions, derive in closed form the profile that optimally adapts a fixed base regularizer to the data, and show that its improvement over isotropic rescaling is governed by a Jensen gap that is provably positive for several natural families. We also establish finite-sample generalization bounds for jointly learning the base regularizer and anisotropic profile, with explicit rates when the logarithm of the profile is parameterized by linear feature models or sparse ReLU networks. Building on this theory, we parameterize the base regularizer and anisotropic profile and learn them jointly from samples, yielding a data-adaptive regularizer for variational inverse problems. Experiments on a controlled two-dimensional family and MNIST denoising show that learning the profile further improves performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
58 pages, 3 figures, 3 tables