PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.16827v3cs.LG

고용량 커널 연상 메모리에서 안정성의 경계에 나타나는 정보 기하학적 자기 조직화

Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories

커널 로지스틱 회귀(KLR) 기반의 고용량 연상 메모리는 뛰어난 저장 용량과 견고성을 보입니다. 선행 실증 연구들은 어트랙터 안정성이 극대화되는 하이퍼파라미터 영역인 "최적화의 능선(Ridge of Optimization)"을 확인했습니다. 그러나 이 영역의 기하학적 특성과 여기에 도달하기 위해 필요한 최적화 역학은 아직 명확히 밝혀지지 않았습니다. 본 논문에서는 KLR로 학습된 홉필드 네트워크(Hopfield networks)에서 매개변수 공간의 정적 기하학과 경사하강법(GD)의 학습 궤적을 조사합니다. 헤시안(Hessian)의 고윳값 스펙트럼을 사용하여, 능선이 주곡률이 대폭 증폭되는 기하학적 특이점으로 작용하는 랭크-1 스펙트럼 붕괴와 인접한 상경계(phase boundary)에 해당함을 밝혀냅니다. 나아가, 학습 역학이 안정성의 경계(Edge of Stability, EoS) 현상에 의해 구동되는 일시적인 자기 안정화 거동을 보임을 입증합니다. 네트워크 매개변수는 평탄한 영역을 찾는 대신, 학습률에 의해 결정되는 안정성 한계 근처에서 국소 곡률이 동적으로 평형을 이루는 상태로 이동하여 최적화 과정이 초기 불안정성을 극복할 수 있도록 합니다. 우리는 랭크-1 점근적 붕괴와 이러한 평형을 지배하는 동적 피드백 루프 모두에 대한 해석적 유도를 제공합니다. 이러한 발견은 최적의 고용량 메모리 표현이 평탄한 극솟값(flat minima)에서 형성되는 것이 아니라, 기하학적 특이점의 곡률이 높은 경계에서 동적으로 형성됨을 시사합니다.

arXiv:2601.07635v3cond-mat.dis-nn

학습에 대한 학습: 스핀 유리에서 인공지능까지의 경로

Learning About Learning: A Path from Spin Glasses to Artificial Intelligence

호필드 모델은 원래 스핀 유리에서 영감을 받았으며, 통계역학, 신경망, 인공지능의 교차점에서 중심적인 위치를 차지한다. 개념적 단순성과 넓은 적용 가능성에도 불구하고, 학부 물리학 교육과정에 거의 통합되지 않는다. 우리는 호필드 모델을 학부 물리학 교육과정의 핵심 주제들을 자연스럽게 통합하는 교육적으로 풍부한 프레임워크로 제시하며, 모델의 에너지 함수, 동역학, 패턴 안정성과 같은 개념에 기반한 간결한 소개를 제공한다. 시뮬레이션의 실용적 측면을 논의하고 시뮬레이션 코드를 제공한다. 또한 학부 수업에 포함할 수 있도록 연구 실무를 반영하도록 설계된 문제들을 제안한다.