PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2410.13548v3cs.LG

적응형 및 무지형 통계적 적대자의 동등성

Adaptive and oblivious statistical adversaries are equivalent

본 연구에서는 적대자(adversary)가 샘플을 오염시킬 때 학습(learning)과 같은 통계적 작업을 수행할 수 있는 능력에 관한 근본적인 문제를 해결합니다. 이러한 적대자는 가할 수 있는 오염의 유형과 샘플에 대해 보유한 지식 수준에 따라 정의됩니다. 후자는 오염을 선택할 때 샘플의 내용을 알고 있는 샘플-적응형(sample-adaptive) 적대자와, 그렇지 않은 샘플-무지형(sample-oblivious) 적대자를 구분합니다. 우리는 모든 오염 유형에 대해, 샘플-적응형 적대자와 샘플-무지형 적대자가 샘플 크기에서 다항 인자(polynomial factors) 차이에 불과할 정도로 동등함을 증명합니다. 이는 [BLMT22]에서 제기되고 [CHL+23]에서 추가로 탐구되었던 주요 미해결 문제를 해결합니다. 구체적으로, 샘플-무지형 적대자가 입력을 오염시키는 상황에서도 통계적 작업을 해결하는 임의의 알고리즘 $A$를 고려해 보겠습니다. 우리는 그에 대응하는 샘플-적응형 적대자가 입력을 오염시킬 때 동일한 작업을 해결하는 알고리즘 $A'$가 존재함을 보입니다. $A'$의 구성은 단순하며 $A$의 계산 효율성을 유지합니다. 즉, $A$가 사용하는 것보다 다항식만큼 더 큰 샘플을 요청한 다음 균등한 무작위 부분 샘플(subsample)에서 $A$를 실행하는 방식입니다.

arXiv:2603.11308v3cs.LG

중꼬리 주성분 분석

Heavy-Tailed Principal Component Analysis

주성분 분석(PCA)은 차원 축소의 핵심 방법이지만, 고전적 정식화는 이차 모멘트에 크게 의존하므로 중꼬리 데이터와 임펄스 노이즈(impulsive noise)가 존재할 때 취약하다. 견고한 PCA 변형이 다수 제안되었지만, 대부분은 유한 분산을 가정하거나, 희소성 기반 분해에 의존하거나, 대리 손실 함수를 통해 견고성을 다루며, 분산이 무한인 모델에 대한 통합적 처리는 제공하지 않는다. 본 논문에서는 $\mathbf{X} = A^{1/2}\mathbf{G}$ 형태의 초통계적(superstatistical) 종속 모델에 따라 생성된 고차원 데이터에 대한 PCA를 연구한다. 여기서 $A$는 양의 확률 스칼라이고 $\mathbf{G}$는 가우시안 벡터이다. 이 프레임워크는 다변량 $t$ 분포와 sub-Gaussian $α$-stable 법칙을 포함하여 넓은 범위의 중꼬리 분포를 포착한다. 우리는 로그 손실 하에서 PCA를 정식화하며, 이는 모멘트가 존재하지 않을 때에도 잘 정의된다. 주요 이론적 결과는, 이 손실 하에서 중꼬리 관측치의 주성분이 기저 가우시안 생성기의 공분산 행렬에 표준 PCA를 적용하여 얻은 것과 일치함을 보인다. 이 통찰을 바탕으로, 중꼬리 데이터로부터 이 공분산 행렬에 대한 견고한 추정량을 직접 제안하고, 경험적 공분산 및 Tyler scatter 추정량과 비교한다. 배경 노이즈 제거 작업을 포함한 광범위한 실험은, 제안 방법이 주성분 방향을 안정적으로 복원하며 중꼬리 및 임펄스 노이즈 하에서 고전적 PCA를 크게 능가하고, 가우시안 노이즈 하에서도 경쟁력을 유지함을 보여준다.

arXiv:2603.16798v2cs.LG

실현 가능 오염 하의 고차원 가우스 평균 추정

High-Dimensional Gaussian Mean Estimation under Realizable Contamination

우리는 실현 가능(realizable) ε-오염(contamination) 모델이라 불리는 결측 데이터 체계 하에서 $\mathbb{R}^d$의 단위 공분산을 갖는 가우스 분포에 대한 평균 추정을 연구한다. 이 모델에서 적대자(adversary)는 0과 ε 사이의 함수 $r(x)$를 선택할 수 있으며, 각 표본 $x$는 확률 $r(x)$로 결측된다. 최근 연구 Ma et al., 2024는 이 모델을 완전 무작위 결측(MCAR, Missing Completely At Random) — 결측이 데이터와 독립적인 경우 — 과 무작위가 아닌 결측(MNAR, Missing Not At Random) — 결측이 표본 값에 임의로 의존할 수 있으며 비식별성(non-identifiability) 문제를 유발할 수 있는 경우 — 사이의 중간 강도 설정으로 제안했다. 해당 연구는 실현 가능 오염 모델에서 평균 추정에 대한 정보 이론적 상한과 하한을 확립했다. 그들이 제안한 추정량(estimator)은 차원에 대해 지수적인 실행 시간을 요구하여, 고차원에서 계산적으로 효율적인 알고리즘의 가능성을 남겨 두었다. 본 연구에서는 통계적 질의(Statistical Query, SQ) 모델(및 부례로 저차 다항식(Low-Degree Polynomials)과 PTF 테스트에 대해)에서 정보-계산 격차(information-computation gap)를 확립하여, 알고리즘이 정보 이론적으로 필요한 것보다 상당히 더 많은 표본을 사용하거나 지수적 실행 시간을 감수해야 함을 보인다. 우리는 SQ 하한을 표본-시간 절충(sample-time tradeoff)이 하한과 거의 일치하는 알고리즘으로 보완한다. 이 결과들을 종합하면, ε-실현 가능 오염 하에서 가우스 평균 추정의 복잡도를 질적으로 특성화한다.

arXiv:2510.06505v2cs.LG

Medix: 강건한 그래디언트 통계를 활용한 레이블 없는 실세계 데이터에서의 분포 외 탐지

Medix: Out-of-Distribution Detection from Unlabeled Wild Data via Robust Gradient Statistics

레이블 없는 실세계 데이터에 InD와 OOD 샘플이 혼재하는 문제를 해결하기 위해, Medix는 중앙값 기반의 강건한 그래디언트 통계를 활용해 후보 이상치를 필터링한 뒤 OOD 분류기를 학습하는 2단계 프레임워크를 제안한다. CIFAR-100에서 KNN+ 대비 FPR95를 평균 40.98% 개선하는 등 11개 InD-OOD 쌍에 걸쳐 20개 기존 방법을 전반적으로 능가하며, 이론적 오류 한계도 함께 제시한다.

arXiv:2606.27685v1stat.ML

적대적 오염과 Hard Thresholding: 신호 적응성 및 Minimax 최적성을 갖춘 반복 알고리즘

Adversarial Contamination Meets Hard Thresholding: An Iterative Algorithm with Signal Adaptivity and Minimax Optimality

만연한 데이터 오염—측정 오류, 이상치(outlier), 또는 적대적 손상(adversarial corruption)에서 비롯된—은 견고한(robust) 통계적 방법의 개발을 촉발해 왔다. 이러한 맥락에서, 우리는 오염이 있는 고차원 회귀(regression)를 위한 2단계 적대적 오염에 강건한 반복 Hard Thresholding(AC-IHT) 알고리즘을 제안한다. 우리의 비볼록(nonconvex) 알고리즘은 계수 벡터와 오염 벡터를 서로 다른 쓰레숄딩(thresholding) 스케일로 반복적으로 갱신함으로써 minimax에 근접한 최적(로그 항까지) 추정을 달성한다. 또한 AC-IHT 추정량(estimator)이 신호 적응적(signal-adaptive)임을 보인다. 적절한 신호 조건 하에서, 이는 적응적으로 더 날카로운 추정율(estimation rate)과 더 정확한 지지(support) 복원(recovery)을 달성한다. 더 나아가, 이는 강한 오라클(oracle) 성질을 누려 점근적 추론을 위한 이론적 토대를 마련한다. 수치 실험은 그 우수한 유한 표본(finite-sample) 성능을 확인한다. 마지막으로, 우리는 제안된 절차의 이론적 확장을 일반화 선형 모델(generalized linear models) 및 heavy-tailed 노이즈 설정에 대해 논의한다.

arXiv:2201.01973v3stat.ML

강건한 선형 예측: 균일 집중도, 빠른 수렴률 및 모델 오명세 분석

Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates and Model Misspecification

선형 예측 문제는 지난 한 세기에 걸쳐 상당히 일반화된 프레임워크 하에서 광범위하게 연구되어 왔다. 강건 통계학 분야의 최근 발전은 평균의 중앙값(Median of Means, MoM)이라는 프리즘을 통해 고전적인 선형 모델의 강건한 버전을 분석할 수 있게 해준다. 이러한 접근법들을 단편적으로 결합하면 임기응변적인 절차로 이어질 수 있으며, 각 개별 기여를 뒷받침하는 제한적인 이론적 결론들이 더 이상 유효하지 않을 수 있다. 이러한 과제들을 일관성 있게 해결하기 위해, 본 연구에서는 힐베르트 공간(Hilbert space) 위에서의 광범위한 선형 예측 문제와 일반적인 손실 함수 클래스를 포함하는 통합된 강건 프레임워크를 제시한다. 특히, 이상치 데이터 포인트($\mathcal{O}$)의 분포에 대한 어떠한 가정도, 정상치($\mathcal{I}$)의 지지(support) 컴팩트성에 대한 가정도 요구하지 않는다. 쌍대 노름(dual norm)에 관한 완화된 조건 하에서, 오명세 수준 $ε$에 대해 이 추정량들이 $O(\max\left\{|\mathcal{O}|^{1/2}n^{-1/2}, |\mathcal{I}|^{1/2}n^{-1} \right\}+ε)$의 오차율을 달성함을 보이며, 이는 문헌에서 알려진 최선의 수렴률과 일치한다. 이 수렴률은 고전적인 $O(n^{-1/2})$보다 다소 느리며, 이는 강건한 추정량을 얻기 위해 오차율 측면에서 일정한 대가를 치러야 함을 나타낸다. 또한, 추가적인 가정 하에서 이 수렴률을 개선하여 이른바 '빠른 수렴률(fast rates)'을 달성할 수 있음을 보인다.