PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.31429v2math.ST

평균장 랑주뱅 역학에서 통계적 특징 학습의 기하학

The Geometry of Statistical Feature Learning in Mean-Field Langevin Dynamics

본 연구에서는 지도 회귀(supervised regression)를 위한 통계적 특징 학습(statistical feature learning)의 기하학적 정식화를 제안합니다. 특징 학습은 베이스-파이버 분해(base–fiber decomposition)를 통해 정의됩니다. 여기서 베이스는 학습(training)에 의해 생성된 특징 측면의 기하학이며, 파이버는 추정이 수행되는 학습된 특징 공간입니다. 음의 엔트로피 정규화(regularization)된 경험적 위험의 바서슈타인 그래디언트(gradient) 흐름으로 간주되는 구면 평균장 랑주뱅 역학(mean-field Langevin dynamics)에 대해 이러한 성질을 증명합니다. 가우시안 다중 인덱스 모델(Gaussian multi-index models)에서 저온 정상 분포는 은닉 인덱스 부근에 집중되고 다중 스파이크 구조를 형성하며, 음의 엔트로피 정규화가 집중을 억제함에도 불구하고 높은 확률로 매개변수(parameter) 복구를 산출합니다. 이러한 집중 현상은 온도 $λ\asymp 1$에서 급격한 전이를 보입니다. 가우시안 단일 인덱스 모델에서 정상 측도는 집중 성질을 만족하며, 패리티(parity)에 따라 해당 측도가 $S_2^{d-1}$에 존재하는지 또는 $\mathbb{RP}^{d-1}$에 존재하는지가 결정됩니다. 이렇게 유도된 학습된 특징 공간은 회귀 신호를 정렬하고 로그 인수를 제외하고 $d/N$ 및 $Md/N$의 수렴률을 산출합니다.

arXiv:2602.05704v2cs.LG

다중-인덱스 모델에서 통계적 쿼리를 넘어선 SGD의 한계

Limitations of SGD for Multi-Index Models Beyond Statistical Queries

그래디언트 방법, 특히 확률적 경사하강법(SGD)의 한계를 이해하는 것은 학습 이론의 핵심 과제이다. 이를 위해 일반적으로 사용되는 도구가 통계적 쿼리(SQ) 프레임워크로, 데이터와의 노이즈가 있는 상호작용에 기반한 알고리즘의 성능 한계를 연구한다. 그러나 SQ 프레임워크와 SGD 간의 공식적인 연결은 취약한 것으로 알려져 있다. 기존 결과들은 일반적으로 표준 SGD의 노이즈를 반영하지 않는 적대적이거나 특수하게 구조화된 그래디언트 노이즈에 의존하며, (본 논문에서 지적하듯이) 때로는 잘못된 예측으로 이어질 수 있다. 더욱이, 어려운 문제에 대한 많은 SGD 분석은 SGD 궤적을 구면으로 제한하거나 매우 작은 학습률을 사용하는 등 비자명한 알고리즘 수정에 의존한다. 이러한 단점을 해결하기 위해, 우리는 단일-인덱스 및 다중-인덱스 모델(즉, 목표 함수가 입력의 저차원 투영에 의존하는 경우)에 대해 표준 바닐라 SGD의 한계를 연구하는 새로운 비-SQ 프레임워크를 개발한다. 우리의 결과는 (잠재적으로 깊은) 신경망을 포함한 광범위한 설정 및 아키텍처에 적용된다.