고용량 커널 연상 메모리에서 안정성의 경계에 나타나는 정보 기하학적 자기 조직화
Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories
커널 로지스틱 회귀(KLR) 기반의 고용량 연상 메모리는 뛰어난 저장 용량과 견고성을 보입니다. 선행 실증 연구들은 어트랙터 안정성이 극대화되는 하이퍼파라미터 영역인 "최적화의 능선(Ridge of Optimization)"을 확인했습니다. 그러나 이 영역의 기하학적 특성과 여기에 도달하기 위해 필요한 최적화 역학은 아직 명확히 밝혀지지 않았습니다. 본 논문에서는 KLR로 학습된 홉필드 네트워크(Hopfield networks)에서 매개변수 공간의 정적 기하학과 경사하강법(GD)의 학습 궤적을 조사합니다. 헤시안(Hessian)의 고윳값 스펙트럼을 사용하여, 능선이 주곡률이 대폭 증폭되는 기하학적 특이점으로 작용하는 랭크-1 스펙트럼 붕괴와 인접한 상경계(phase boundary)에 해당함을 밝혀냅니다. 나아가, 학습 역학이 안정성의 경계(Edge of Stability, EoS) 현상에 의해 구동되는 일시적인 자기 안정화 거동을 보임을 입증합니다. 네트워크 매개변수는 평탄한 영역을 찾는 대신, 학습률에 의해 결정되는 안정성 한계 근처에서 국소 곡률이 동적으로 평형을 이루는 상태로 이동하여 최적화 과정이 초기 불안정성을 극복할 수 있도록 합니다. 우리는 랭크-1 점근적 붕괴와 이러한 평형을 지배하는 동적 피드백 루프 모두에 대한 해석적 유도를 제공합니다. 이러한 발견은 최적의 고용량 메모리 표현이 평탄한 극솟값(flat minima)에서 형성되는 것이 아니라, 기하학적 특이점의 곡률이 높은 경계에서 동적으로 형성됨을 시사합니다.