데이터 기반 블록 희소 복원을 위한 딥 언폴딩 잠재 최적 분할 l2/l1 네트워크
Deep Unfolded Latent Optimally Partitioned-l2/l1 Networks for Data-driven Block-Sparse Recovery
한국어 초록
볼록 잠재 최적 분할(LOP)-l2/l1 방식은 알 수 없는 분할을 갖는 블록 희소 신호 복원을 가능하게 하지만, 수동 하이퍼파라미터 튜닝에 의존한다. 또한 근위 연산자(proximal operator) 미분 시 발생하는 수치적 불안정성으로 인해 딥 언폴딩(Deep Unfolding, DU)을 통한 자동 파라미터 튜닝이 불가능하다. 이러한 한계를 극복하기 위해, 우리는 두 가지 아키텍처를 제안한다: 암시적 미분(implicit differentiation)을 활용한 안정적 프레임워크와 딥 가중치 인수분해(Deep Weight Factorization, DWF)를 활용한 유연한 변형 모델. DWF 기반 방식은 비볼록 평활 데이터 충실도 항(nonconvex smooth data fidelity terms)도 지원한다. 수치 실험을 통해 DU-LOP-l2/l1이 경쟁력 있는 성능과 임펄스 노이즈에 대한 높은 강건성을 보임을 입증한다.
원문 초록
The convex Latent Optimal Partition (LOP)-l2/l1 approach enables block-sparse signal recovery with unknown partitions but relies on manual hyperparameter tuning. Additionally, numerical instability in differentiating its proximal operator prevents its automatic parameter tuning via Deep Unfolding (DU). To address these limitations, we propose two architectures: a stable framework utilizing implicit differentiation and a flexible variant leveraging Deep Weight Factorization (DWF). The DWF-based approach also supports nonconvex smooth data fidelity terms. Numerical experiments demonstrate that DU-LOP-l2/l1 yields competitive performance and high resilience against impulsive noise.
요약
알 수 없는 분할을 가진 블록 희소 신호 복원에서 발생하는 수동 튜닝 및 수치적 불안정성 문제를 해결하기 위해, 암시적 미분과 Deep Weight Factorization(DWF)을 활용한 Deep Unfolding(DU) 기반의 두 가지 아키텍처를 제안한다. 제안된 방법은 경쟁력 있는 성능을 달성함과 동시에 임펄스 노이즈에 대해 높은 강건성을 보여준다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12740v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
더 적은 측정으로 희소 선형 분류기 혼합 모델의 효율적인 지지집합 복원
Efficient Support Recovery of Mixtures of Sparse Linear Classifiers with Fewer Measurements
선형 분류기 혼합 모델에서의 지지집합 복원(support recovery) 문제는 데이터가 여러 선형 결정 규칙의 혼합으로 생성될 때 기저 결정 규칙과 관련된 특징(feature)을 식별하는 것을 목표로 합니다. 특히, 부호 측정값(sign measurement)으로부터 $l$개의 미지의 $k$-희소(k-sparse) 벡터들의 지지집합(0이 아닌 좌표)을 복원하는 것이 목표입니다. 각 측정은 $l$개의 벡터 중 하나를 균등하게 무작위로 선택하고, 선택된 측정 벡터와의 내적 부호를 반환함으로써 생성됩니다. 본 논문에서는 측정 횟수를 줄이는 동시에 서브리니어(sublinear) 복호화 시간을 달성하여 기존 결과를 대폭 개선하는 적응형(adaptive) 및 비적응형(non-adaptive) 스킴을 제안합니다. 특히, 제안하는 적응형 구조는 기존 접근 방식에 비해 측정을 실질적으로 줄이면서도 복호화 복잡도를 주변 차원(ambient dimension) 기준 초이차(super-quadratic)에서 서브리니어로 낮춥니다. 또한 효율적인 복호화를 유지하면서 이전의 측정 한계를 개선하는 비적응형 스킴도 제공합니다. 종합적으로, 본 연구의 접근 방식은 기존에 알려진 방법들과 비교하여 혼합 모델의 지지집합 복원에 대해 샘플 복잡도와 복호화 시간 간에 더 효율적인 절충안을 제공합니다.
분포 변화 하에서 확산 모델의 강건성
Robustness of Diffusion Models under Distribution Shift
스코어 기반 확산 모델(score-based diffusion models)은 기저 데이터 분포가 학습(training) 분포와 다를 수 있는 환경에서 점차 많이 고려되고 있으나, 기존의 이론적 보장은 주로 분포 변화가 없는 환경에 초점을 맞추고 있습니다. 본 연구에서는 기준 분포의 바서슈타인 섭동(Wasserstein perturbations) 하에서 강건한 스코어 추정을 연구합니다. 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 확산에 대해, 강건한 추정이 두 가지 핵심 요소, 즉 기준 분포를 학습하는 데 따르는 통계적 비용과 분포 변화 자체의 본질적 비용으로 분해됨을 보입니다. 후자는 바서슈타인 반경에 대해 2차(quadratically)로 스케일링되며, 이러한 의존성은 미니맥스 최적(minimax optimal)입니다. 우리는 변화 반경을 알지 못하더라도 도출된 강건한 미니맥스 속도를 달성하는 명시적인 유한 표본 추정기를 구성합니다. 기준 분포가 미지의 저차원 부분공간에 놓여 있을 때, 통계적 항은 본질적 차원에 적응하는 반면 변화 비용은 변하지 않은 채 유지됩니다. 마지막으로, 우리는 동일한 분해가 양의 시간 역방향 샘플링(positive-time reverse sampling)에도 적용됨을 보이고 KL 발산에서 일치하는 미니맥스 보장을 도출합니다. 종합적으로, 이러한 결과들은 유한한 데이터, 본질적 차원, 그리고 분포 변화가 스코어 기반 확산 모델의 강건성에 미치는 영향을 규명합니다.
일반화된 랑주뱅 역학을 위한 메모리 조건부 확산 모델
Memory-Conditioned Diffusion Model for Generalized Langevin Dynamics
일반화된 랑주뱅 방정식(Generalized Langevin equation)은 분해된 변수(resolved variable)의 진화가 과거에 의존하는 비마르코프 역학(non-Markovian dynamics)을 설명합니다. 본 연구에서는 메모리 커널(memory kernel)을 식별하거나 미분해 변수(unresolved variable)를 재구성하지 않고도, 관측된 궤적으로부터 이러한 역학의 확률적 흐름 맵(stochastic flow map)을 학습하기 위한 메모리 조건부 확산 기법을 제안합니다. 컴팩트하고 재귀적으로 업데이트되는 지수 필터 뱅크(bank of exponential filters)를 통해 흐름 맵은 긴 관측 윈도우에 조건을 부여하지 않고도 여러 시간 척도에 걸쳐 예측 이력을 유지할 수 있습니다. 다음 단계 분포는 현재 관측값과 이 메모리 상태를 조건으로 하며, 고정된 뱅크 크기에서 메모리 상태의 저장 및 업데이트 비용은 이력 길이와 무관합니다. 예측 기준을 통해 메모리 예산을 결정하고 벡터 벤치마크에서는 참조 지원 선택을 활용하며, 선택적 선형 투영을 통해 조건부 차원을 더욱 축소합니다. 커널 기반 스코어 추정기는 스코어 네트워크를 학습(training)시키지 않고도 조건부 샘플을 생성하며, 이 샘플들은 자기회귀 시뮬레이션을 위한 신경 흐름 맵을 학습하는 데 사용됩니다. 세 가지 수치 예제를 통해 작은 조건부 차원에서의 긴 메모리 유지력, 결합된 벡터 역학에서의 예측 압축, 비가우스 조건부 분포 및 간헐적 이벤트를 평가(evaluation)합니다. 비가우스 예제는 플라스마 스크레이프-오프 층(plasma scrape-off layer)의 확률적 모델에서 조건부 비대칭성과 버스트 통계를 재현합니다.
TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식
TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching
범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.
단일 광자 비디오 촬영을 위한 시공간 플럭스 프로빙
Spatiotemporal Flux Probing for Single-Photon Videography
본 연구에서는 극단적인 광자 희소성 환경의 동적 장면에서 고속 비디오를 복원하는 문제를 다룹니다. 기존 방법들은 신호 대 잡음비(SNR)를 개선하기 위해 국소 시공간 윈도우 내에서 광자 검출을 집합하는 방식에 의존하지만, 이러한 국소적 그룹화는 전역적 구조를 버리게 되어 공간과 시간 모두에서 광자 검출이 희소한 극저조도 환경에서는 실패합니다. 본 연구에서는 모션과 조도를 모두 복원하는 데 필요한 정보가 광자 도달의 전체 시공간 패턴에 걸친 상관관계(correlation)에 인코딩되어 있음을 보입니다. 이러한 통찰을 바탕으로, 광자 스트림으로부터 기저 광 강도의 푸리에 계수(Fourier coefficients)를 직접 추정하는 시공간 플럭스 프로빙(spatiotemporal flux probing) 이론과 알고리즘을 개발합니다. 실험을 통해 본 접근법이 (1) 이전 방법보다 훨씬 적은 수의 광자로 빠른 모션과 시간적 조도 변화를 복원하고, (2) 감지된 특정 모션에 비디오의 초점을 자동으로 맞추는 속도 선택적 비디오 촬영을 가능하게 하며, (3) 단일 광자, 이벤트 및 스파이크 카메라를 포함한 다양한 센싱 모달리티 전반에 걸쳐 일반화됨을 입증합니다.
Fisher 너비: 국소 학습 기하와 이방성 복원
Fisher Widths: Local Learning Geometry and Anisotropic Recovery
통계적 다양체(statistical manifold) 위에서 가우시안 너비(Gaussian-width) 복잡도를 두 함수형 쌍을 통해 연구한다: Fisher 계량(Fisher metric)에 의해 유도되는 원시(primal) Fisher 너비 $w_G(T) = w(G^{1/2}T)$, 그리고 역 Fisher 계량(inverse Fisher metric)에 의해 유도되는 역-Fisher 너비 $w_{G^{-1}}(T) = w(G^{-1/2}T)$. 두 너비는 상보적인 통계적 역할을 한다. 학습 측면에서 Fisher 너비는 Fisher 정보에 의해 유도된 기하에서 국소 매개변수 변동의 크기를 측정한다. Fisher-정규 손실(Fisher-regular losses)에 대해, 충분히 작은 Fisher 볼(Fisher balls) 위에서 척도 \(w_G(H_r)/\sqrt n\)이 달성됨을 증명한다. 복원 측면에서 역-Fisher 너비는 역 Fisher 정보에 의해 공분산이 결정되는 이방성 가우시안 측정의 효과를 포착한다. 희소 복원(sparse recovery)의 경우, 결과 기하는 희소성뿐만 아니라 Fisher 스펙트럼에서 활성 좌표(active coordinates)의 위치에도 의존한다. 우리는 해당 통계 차원(statistical dimension)에 대한 양측 추정(two-sided estimate)을 얻으며, 지지(support) 민감 복원 추정과 서로 다른 곡률 프로파일(curvature profiles)을 가진 지지들의 자연스러운 순서(ordering)를 함께 제시한다. 마지막으로, 원시 Fisher 너비와 역-Fisher 너비 사이의 날카로운 관계를 확립한다. 임의의 공통 컴팩트 좌표 집합 $T$에 대해, 다음을 만족한다: \[ w_G(T)w_{G^{-1}}(T)\geq w(T)^2. \] 따라서 Fisher 이방성(anisotropy)은 한 기하에서 다른 기하로 복잡도를 전달할 수 있지만, 유클리드 척도(Euclidean scale)에 상대적으로 두 너비를 모두 줄일 수는 없다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.