PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.16827v3cs.LG

고용량 커널 연상 메모리에서 안정성의 경계에 나타나는 정보 기하학적 자기 조직화

Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories

커널 로지스틱 회귀(KLR) 기반의 고용량 연상 메모리는 뛰어난 저장 용량과 견고성을 보입니다. 선행 실증 연구들은 어트랙터 안정성이 극대화되는 하이퍼파라미터 영역인 "최적화의 능선(Ridge of Optimization)"을 확인했습니다. 그러나 이 영역의 기하학적 특성과 여기에 도달하기 위해 필요한 최적화 역학은 아직 명확히 밝혀지지 않았습니다. 본 논문에서는 KLR로 학습된 홉필드 네트워크(Hopfield networks)에서 매개변수 공간의 정적 기하학과 경사하강법(GD)의 학습 궤적을 조사합니다. 헤시안(Hessian)의 고윳값 스펙트럼을 사용하여, 능선이 주곡률이 대폭 증폭되는 기하학적 특이점으로 작용하는 랭크-1 스펙트럼 붕괴와 인접한 상경계(phase boundary)에 해당함을 밝혀냅니다. 나아가, 학습 역학이 안정성의 경계(Edge of Stability, EoS) 현상에 의해 구동되는 일시적인 자기 안정화 거동을 보임을 입증합니다. 네트워크 매개변수는 평탄한 영역을 찾는 대신, 학습률에 의해 결정되는 안정성 한계 근처에서 국소 곡률이 동적으로 평형을 이루는 상태로 이동하여 최적화 과정이 초기 불안정성을 극복할 수 있도록 합니다. 우리는 랭크-1 점근적 붕괴와 이러한 평형을 지배하는 동적 피드백 루프 모두에 대한 해석적 유도를 제공합니다. 이러한 발견은 최적의 고용량 메모리 표현이 평탄한 극솟값(flat minima)에서 형성되는 것이 아니라, 기하학적 특이점의 곡률이 높은 경계에서 동적으로 형성됨을 시사합니다.

arXiv:2606.06742v1cs.LG

TorchKM: 커널 학습 및 모델 선택을 위한 GPU 지향 라이브러리

TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection

TorchKM은 서포트 벡터 머신, 커널 로지스틱 회귀, 커널 분위수 회귀 등을 포함하는 커널 머신(kernel machines)을 위한 GPU 가속 오픈 소스 라이브러리입니다. 이 라이브러리는 scikit-learn 스타일 API를 제공하며, GPU 친화적인 선형 대수학을 활용하도록 설계되어 행렬 연산의 지능적인 재사용을 통해 전체 학습 및 모델 선택 파이프라인을 가속화합니다. 벤치마크 결과, 표준 베이스라인(baseline) 대비 경쟁력 있는 예측 성능과 상당한 속도 향상을 보여주었습니다. 코드와 문서는 https://github.com/YikaiZhang95/torchkm에서 확인할 수 있으며, PyPI를 통해 패키지를 쉽게 설치할 수 있습니다.