PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25975v2cs.LG

Tensorion: A Tensor-Aware Generalization of the Muon Optimizer

Adam 등 1차 최적화기는 파라미터를 구조 없는 벡터로 취급해 다차원 텐서 가중치의 구조를 놓치는데, Muon의 스펙트럴 노름 제약 최적화를 고차 텐서로 확장한 Tensorion은 적응적으로 선택한 unfolding 행렬 연산으로 계산 가능한 LMO(linear minimization oracle)를 통해 텐서 스펙트럴 노름을 효과적으로 제한한다. 2차 텐서에서는 Muon과 동일하게 동작하고, CNN·Vision Transformer 등 컴퓨터 비전(CV) 실험에서 Adam 및 기존 텐서 인식 기준 대비 수렴과 그래디언트 업데이트 안정성이 개선되었다.

arXiv:2607.14460v1math.ST

정밀한 표본 공분산 스펙트럼 노름 오차 -- RDT 관점

Precise sample covariance spectral norm error -- an RDT view

중심화된 가우시안의 표본 공분산 오차를 연구한다. 주목할 만한 돌파구 [66]는 올바른 오차 스케일링 차수를 확립하고, 유효 rank와 실제 공분산 스펙트럼 모두의 중요한 역할을 명시적으로 밝혔다. 본 연구에서는 스케일링 특성화를 넘어 오차의 스펙트럼 노름의 정밀한 극한값을 결정한다. 이를 위해 Random Duality Theory(RDT)에 기반한 일반적 프레임워크를 개발한다. 이 프레임워크 안에서 먼저 폐형의 명시적 RDT 기반 상한을 구하고, 새로운 쌍선형-이차 RDT 하한 메커니즘을 도입하여 상호 보완적인 하한을 확립한다. 이 메커니즘을 two-replica systems 경계 전략과 결합함으로써, 고차원 맥락에서 우리의 하한과 상한이 일치함을 보인다. 이론적 결과는 수치 평가와 시뮬레이션으로 보강되며, 수천 규모의 문제 크기에서 이미 탁월한 일치를 보여준다.