PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32176v2cs.LG

더 적은 측정으로 희소 선형 분류기 혼합 모델의 효율적인 지지집합 복원

Efficient Support Recovery of Mixtures of Sparse Linear Classifiers with Fewer Measurements

선형 분류기 혼합 모델에서의 지지집합 복원(support recovery) 문제는 데이터가 여러 선형 결정 규칙의 혼합으로 생성될 때 기저 결정 규칙과 관련된 특징(feature)을 식별하는 것을 목표로 합니다. 특히, 부호 측정값(sign measurement)으로부터 $l$개의 미지의 $k$-희소(k-sparse) 벡터들의 지지집합(0이 아닌 좌표)을 복원하는 것이 목표입니다. 각 측정은 $l$개의 벡터 중 하나를 균등하게 무작위로 선택하고, 선택된 측정 벡터와의 내적 부호를 반환함으로써 생성됩니다. 본 논문에서는 측정 횟수를 줄이는 동시에 서브리니어(sublinear) 복호화 시간을 달성하여 기존 결과를 대폭 개선하는 적응형(adaptive) 및 비적응형(non-adaptive) 스킴을 제안합니다. 특히, 제안하는 적응형 구조는 기존 접근 방식에 비해 측정을 실질적으로 줄이면서도 복호화 복잡도를 주변 차원(ambient dimension) 기준 초이차(super-quadratic)에서 서브리니어로 낮춥니다. 또한 효율적인 복호화를 유지하면서 이전의 측정 한계를 개선하는 비적응형 스킴도 제공합니다. 종합적으로, 본 연구의 접근 방식은 기존에 알려진 방법들과 비교하여 혼합 모델의 지지집합 복원에 대해 샘플 복잡도와 복호화 시간 간에 더 효율적인 절충안을 제공합니다.

arXiv:2606.27685v1stat.ML

적대적 오염과 Hard Thresholding: 신호 적응성 및 Minimax 최적성을 갖춘 반복 알고리즘

Adversarial Contamination Meets Hard Thresholding: An Iterative Algorithm with Signal Adaptivity and Minimax Optimality

만연한 데이터 오염—측정 오류, 이상치(outlier), 또는 적대적 손상(adversarial corruption)에서 비롯된—은 견고한(robust) 통계적 방법의 개발을 촉발해 왔다. 이러한 맥락에서, 우리는 오염이 있는 고차원 회귀(regression)를 위한 2단계 적대적 오염에 강건한 반복 Hard Thresholding(AC-IHT) 알고리즘을 제안한다. 우리의 비볼록(nonconvex) 알고리즘은 계수 벡터와 오염 벡터를 서로 다른 쓰레숄딩(thresholding) 스케일로 반복적으로 갱신함으로써 minimax에 근접한 최적(로그 항까지) 추정을 달성한다. 또한 AC-IHT 추정량(estimator)이 신호 적응적(signal-adaptive)임을 보인다. 적절한 신호 조건 하에서, 이는 적응적으로 더 날카로운 추정율(estimation rate)과 더 정확한 지지(support) 복원(recovery)을 달성한다. 더 나아가, 이는 강한 오라클(oracle) 성질을 누려 점근적 추론을 위한 이론적 토대를 마련한다. 수치 실험은 그 우수한 유한 표본(finite-sample) 성능을 확인한다. 마지막으로, 우리는 제안된 절차의 이론적 확장을 일반화 선형 모델(generalized linear models) 및 heavy-tailed 노이즈 설정에 대해 논의한다.