선형 분류기 혼합 모델에서의 지지집합 복원(support recovery) 문제는 데이터가 여러 선형 결정 규칙의 혼합으로 생성될 때 기저 결정 규칙과 관련된 특징(feature)을 식별하는 것을 목표로 합니다. 특히, 부호 측정값(sign measurement)으로부터 $l$개의 미지의 $k$-희소(k-sparse) 벡터들의 지지집합(0이 아닌 좌표)을 복원하는 것이 목표입니다. 각 측정은 $l$개의 벡터 중 하나를 균등하게 무작위로 선택하고, 선택된 측정 벡터와의 내적 부호를 반환함으로써 생성됩니다. 본 논문에서는 측정 횟수를 줄이는 동시에 서브리니어(sublinear) 복호화 시간을 달성하여 기존 결과를 대폭 개선하는 적응형(adaptive) 및 비적응형(non-adaptive) 스킴을 제안합니다. 특히, 제안하는 적응형 구조는 기존 접근 방식에 비해 측정을 실질적으로 줄이면서도 복호화 복잡도를 주변 차원(ambient dimension) 기준 초이차(super-quadratic)에서 서브리니어로 낮춥니다. 또한 효율적인 복호화를 유지하면서 이전의 측정 한계를 개선하는 비적응형 스킴도 제공합니다. 종합적으로, 본 연구의 접근 방식은 기존에 알려진 방법들과 비교하여 혼합 모델의 지지집합 복원에 대해 샘플 복잡도와 복호화 시간 간에 더 효율적인 절충안을 제공합니다.
다중 스냅샷 스파이크 디컨볼루션 문제를 연구한다. 목표는 여러 스냅샷에 걸쳐 알려진 점 확산 함수(PSF)와의 노이즈가 섞인 합성곱으로부터 희소 임펄스의 위치를 복원하는 것이다. 진폭을 폐형식으로 제거하는 변수 투영(variable projection) 공식화를 채택하여, 과제를 스파이크 위치만에 대한 비볼록 최소자승 문제로 축소한다. 이 공식화를 스파이크 디컨볼루션의 변수 투영 공식화(VarProSD)라고 부른다. VarProSD 목적함수의 볼록성 영역에 대한 명시적 특성화를 PSF의 핵심 특성인 전력 스펙트럼 밀도와 매끄러움(smoothness)으로 표현하여, 샘플링 대역폭과 스파이크 분리가 국소 기하에 미치는 영향을 밝힌다. 이 영역 내에서 확률적 노이즈 하에 스냅샷 수에 대한 추정량의 일치성(consistency)을 확립하고, 역사상(inverse map)의 국소 리프시츠(Lipschitz) 성질을 통해 적대적 노이즈 하에서 보완적이고 더 날카로운 오차 경계를 도출한다. 초기화가 해당 영역 내에서 수행될 때 경사하강법의 국소 수렴 보장을 추가로 확립한다. 분석 전반에서 Beurling–Selberg 극값 근사가 핵심 역할을 하며, 최적화 landscape에서 나타나는 구조화 행렬의 conditioning에 대해 PSF에 무관한 날카로운 경계를 제공한다. 수치 실험을 통해 이론적 결과를 뒷받침하고, 수정된 ESPRIT 초기화 이후 그래디언트 기반 정밀화의 효과를 보여준다.
통계적 다양체(statistical manifold) 위에서 가우시안 너비(Gaussian-width) 복잡도를 두 함수형 쌍을 통해 연구한다: Fisher 계량(Fisher metric)에 의해 유도되는 원시(primal) Fisher 너비 $w_G(T) = w(G^{1/2}T)$, 그리고 역 Fisher 계량(inverse Fisher metric)에 의해 유도되는 역-Fisher 너비 $w_{G^{-1}}(T) = w(G^{-1/2}T)$. 두 너비는 상보적인 통계적 역할을 한다. 학습 측면에서 Fisher 너비는 Fisher 정보에 의해 유도된 기하에서 국소 매개변수 변동의 크기를 측정한다. Fisher-정규 손실(Fisher-regular losses)에 대해, 충분히 작은 Fisher 볼(Fisher balls) 위에서 척도 \(w_G(H_r)/\sqrt n\)이 달성됨을 증명한다. 복원 측면에서 역-Fisher 너비는 역 Fisher 정보에 의해 공분산이 결정되는 이방성 가우시안 측정의 효과를 포착한다. 희소 복원(sparse recovery)의 경우, 결과 기하는 희소성뿐만 아니라 Fisher 스펙트럼에서 활성 좌표(active coordinates)의 위치에도 의존한다. 우리는 해당 통계 차원(statistical dimension)에 대한 양측 추정(two-sided estimate)을 얻으며, 지지(support) 민감 복원 추정과 서로 다른 곡률 프로파일(curvature profiles)을 가진 지지들의 자연스러운 순서(ordering)를 함께 제시한다. 마지막으로, 원시 Fisher 너비와 역-Fisher 너비 사이의 날카로운 관계를 확립한다. 임의의 공통 컴팩트 좌표 집합 $T$에 대해, 다음을 만족한다: \[ w_G(T)w_{G^{-1}}(T)\geq w(T)^2. \] 따라서 Fisher 이방성(anisotropy)은 한 기하에서 다른 기하로 복잡도를 전달할 수 있지만, 유클리드 척도(Euclidean scale)에 상대적으로 두 너비를 모두 줄일 수는 없다.
우리는 두 희소 벡터의 중첩에 대한 제한된 수의 비선형 관측으로부터 해당 벡터 쌍을 복원하는 문제를 고려한다: $y_i=g(\langle\mathbf{a}_i,\mathbf{\Phi}\mathbf{w}^*+\mathbf{\Psi}\mathbf{z}^*\rangle)+e_i$, $i=1,\dots,m$, 여기서 $m\ll n$이고, $\mathbf{\Phi},\mathbf{\Psi}$는 비간섭 정규직교 기저, $g$는 스칼라 연결 함수이며, $e_i$는 중꼬리(heavy-tailed)이거나 오염될 수 있는 잡음이다. 우리는 휴버화된(Huberized) 데이터 충실도와 일반화된 접힌 오목 페널티(SCAD, MCP)를 결합한 정규화(regularization) 기반 프레임워크를 제안하며, 역추적을 포함한 2블록 근위 교차 알고리즘(NLD-PALM)을 함께 제시한다. 이 알고리즘의 전체 반복 수열은 Kurdyka–Łojasiewicz 성질 하에서 국소 선형 수렴률로 임계점에 수렴함이 증명된다. 통계적 측면에서, 정확한 부호 한정 분해를 통해 휴버화된 비선형 손실의 제한적 강볼록성을 확립하고, 모든 국소화된 정류점(stationary point)에서 성립하는 $\sigma\sqrt{s\log(n)/m}$ 차수의 추정 오차 한계, 베타-최소(beta-min) 조건 하에서 $\log n$ 및 수축 바이어스(bias)가 없는 오라클 률 $\sigma\sqrt{s/m}$, 그리고 선형 대리 함수와 절단된 Plan–Vershynin 분리를 통한 미지의 단조 연결 함수에 대한 동등 복원 정리를 유도한다. 추정기는 희소성(sparsity) 수준에 대한 사전 지식을 필요로 하지 않으며, 유한 분산만을 갖는 대칭 잡음 하에서도 보장이 성립한다. $n=512$에서 고정된 데이터 기반 정규화 규칙을 이용한 실험에서는 볼록 $\ell_1$ 디믹싱 및 탐욕적 하드 임계화(hard-thresholding) 기준선보다 이른 위상 전이, 5% 심각한 이상값 하에서 제곱 손실(loss) 추정 대비 $35\times$의 정확도 이점, 그리고 포화 증폭기를 통해 관측된 스파이크-플러스-배경(spike-plus-background) 신호의 성공적인 디믹싱을 보여준다.
수치 노이즈로 생기는 무의미한 비영 계수 꼬리를 반영하지 못하는 고전적 희소 복원의 한계를 해소하기 위해, 정규화된 크기 분포의 섀넌 엔트로피로 유효 비영 계수 수(ENZ)를 정의하고 지지 집합 크기와 분포 효율로 분해하는 이론, 제한 등거리 조건 하 안정성, 분리 가능한 엔트로피 대리 정규화를 제안한다. 희소 신호 복원과 그래디언트 도메인 영상 잡음 제거 실험에서 표준 희소성 패널티 대비 강건하고 계산 효율적이며 경쟁력 있는 성능을 보인다.
고차원 희소 복원(sparse recovery)에서 ℓ∞ 오차 보장과 변수 선택(variable selection)의 통계·계산 복잡도를 분석하고, oblivious(for each) 모델에서는 약 k log d 샘플로 거의 선형 시간에 최적 ℓ∞ 오차를 달성할 수 있지만 adaptive(for all) 모델에서는 동일한 수준을 위해 약 k² 샘플이 필요함을 증명해 ℓ2 설정과 대비된다. 부분적 적응(partially-adaptive) 모델에서는 약 k log d 측정으로도 의미 있는 변수 선택 보장이 가능함을 보였다.
알 수 없는 분할을 가진 블록 희소 신호 복원에서 발생하는 수동 튜닝 및 수치적 불안정성 문제를 해결하기 위해, 암시적 미분과 Deep Weight Factorization(DWF)을 활용한 Deep Unfolding(DU) 기반의 두 가지 아키텍처를 제안한다. 제안된 방법은 경쟁력 있는 성능을 달성함과 동시에 임펄스 노이즈에 대해 높은 강건성을 보여준다.