arXiv:2609.16827v3 cs.LG

고용량 커널 연상 메모리에서 안정성의 경계에 나타나는 정보 기하학적 자기 조직화

Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories

Akira Tamamori

제출 2026-09-24

한국어 초록

커널 로지스틱 회귀(KLR) 기반의 고용량 연상 메모리는 뛰어난 저장 용량과 견고성을 보입니다. 선행 실증 연구들은 어트랙터 안정성이 극대화되는 하이퍼파라미터 영역인 "최적화의 능선(Ridge of Optimization)"을 확인했습니다. 그러나 이 영역의 기하학적 특성과 여기에 도달하기 위해 필요한 최적화 역학은 아직 명확히 밝혀지지 않았습니다. 본 논문에서는 KLR로 학습된 홉필드 네트워크(Hopfield networks)에서 매개변수 공간의 정적 기하학과 경사하강법(GD)의 학습 궤적을 조사합니다. 헤시안(Hessian)의 고윳값 스펙트럼을 사용하여, 능선이 주곡률이 대폭 증폭되는 기하학적 특이점으로 작용하는 랭크-1 스펙트럼 붕괴와 인접한 상경계(phase boundary)에 해당함을 밝혀냅니다. 나아가, 학습 역학이 안정성의 경계(Edge of Stability, EoS) 현상에 의해 구동되는 일시적인 자기 안정화 거동을 보임을 입증합니다. 네트워크 매개변수는 평탄한 영역을 찾는 대신, 학습률에 의해 결정되는 안정성 한계 근처에서 국소 곡률이 동적으로 평형을 이루는 상태로 이동하여 최적화 과정이 초기 불안정성을 극복할 수 있도록 합니다. 우리는 랭크-1 점근적 붕괴와 이러한 평형을 지배하는 동적 피드백 루프 모두에 대한 해석적 유도를 제공합니다. 이러한 발견은 최적의 고용량 메모리 표현이 평탄한 극솟값(flat minima)에서 형성되는 것이 아니라, 기하학적 특이점의 곡률이 높은 경계에서 동적으로 형성됨을 시사합니다.

원문 초록

High-capacity associative memories based on Kernel Logistic Regression (KLR) exhibit exceptional storage capabilities and robustness. Previous empirical studies identified a hyperparameter regime, the "Ridge of Optimization," where attractor stability is maximized. However, the geometric nature of this regime and the optimization dynamics required to reach it have remained unclear. In this paper, we investigate the static geometry of the parameter space and the learning trajectory of Gradient Descent (GD) in KLR-trained Hopfield networks. Using the eigenvalue spectrum of the Hessian, we reveal that the Ridge corresponds to a phase boundary located adjacent to a rank-1 spectral collapse, acting as a geometric singularity where the principal curvature is massively amplified. Furthermore, we demonstrate that the learning dynamics exhibit a transient self-stabilizing behavior driven by the Edge of Stability (EoS) phenomenon. Rather than seeking flat regions, the network parameters are driven toward a state where the local curvature dynamically equilibrates near the stability limit dictated by the learning rate, allowing the optimization to survive the initial instability. We provide analytical derivations for both the rank-1 asymptotic collapse and the dynamic feedback loop governing this equilibration. These findings suggest that optimal, high-capacity memory representations are not formed in flat minima, but are dynamically sculpted at the highly curved boundaries of geometric singularities.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.16827v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28256v1cs.RO공통 태그 associative memory

MemBodied: 비전-언어-행동 모델을 위한 순환 연상 기억

MemBodied: Recurrent Associative Memory for Vision-Language-Action Models

비전-언어-행동 모델은 범용 로봇 제어를 위한 강력한 기반을 제공하지만, 정책의 대다수는 현재 관측을 넘어 에피소드 수준 정보를 보존하고 활용하지 못한다. 이 한계는 과거 관측에서만 얻을 수 있는 정보에 의존하는 이력 의존 조작 과제에서 중요한 문제가 된다. 과거 관측을 컨텍스트에 유지하면 이러한 정보를 복원하는 데 도움이 될 수 있지만, 컨텍스트가 계속 커지고 추론 지연이 커지는 큰 비용이 따른다. 따라서 MemBodied를 제안한다. 이는 고정 크기의 에피소드 기억으로, 두 가지 상보적 구성요소를 갖는다. 정책 호출 전반의 상호작용을 기록하는 연상 상태(associative state)와 초기 장면의 간결한 표현을 기준으로 보존하는 에피소드 앵커(episode anchor)이다. 각 정책 호출마다 모델은 과거 관측을 직접 사용하는 대신, 현재 입력과 기억 구성요소에 조건부로 행동 생성을 수행한다. 기억이 필요한 RMBench 5개 과제에서 MemBodied는 무상태 정책의 평균 성공률의 $7.81\times$, 일반 순환 기억의 $2.98\times$를 달성했으며, 가장 강한 기억 증강 기준선보다 $1.3\times$ 우수하면서 추가 파라미터는 $10\times$ 더 적다. 완전 관측 가능한 LIBERO-Long 스위트에서는 90.6%를 기록했으며, 무상태 $\pi_0$ 정책 대비 5.4%p 향상이다. 이 결과는 이력 의존 조작에서 정책 컨텍스트를 확장하는 대신 MemBodied가 실용적 대안임을 뒷받침한다.

arXiv:2601.07635v3cond-mat.dis-nn공통 태그 hopfield network

학습에 대한 학습: 스핀 유리에서 인공지능까지의 경로

Learning About Learning: A Path from Spin Glasses to Artificial Intelligence

호필드 모델은 원래 스핀 유리에서 영감을 받았으며, 통계역학, 신경망, 인공지능의 교차점에서 중심적인 위치를 차지한다. 개념적 단순성과 넓은 적용 가능성에도 불구하고, 학부 물리학 교육과정에 거의 통합되지 않는다. 우리는 호필드 모델을 학부 물리학 교육과정의 핵심 주제들을 자연스럽게 통합하는 교육적으로 풍부한 프레임워크로 제시하며, 모델의 에너지 함수, 동역학, 패턴 안정성과 같은 개념에 기반한 간결한 소개를 제공한다. 시뮬레이션의 실용적 측면을 논의하고 시뮬레이션 코드를 제공한다. 또한 학부 수업에 포함할 수 있도록 연구 실무를 반영하도록 설계된 문제들을 제안한다.

arXiv:2511.02584v2cs.IT공통 태그 associative memory

홉필드 네트워크에서 연상 기억 학습 원리로서의 중복성 최대화

Redundancy Maximization as a Principle of Associative Memory Learning in Hopfield Networks

홉필드 네트워크로 전통적으로 모델링되는 연상 기억(associative memory)은 부분적이거나 잡음이 있는 단서로부터 이전에 저장된 패턴을 검색할 수 있게 한다. 그러나 이 기능을 가능하게 하는 데 필요한 국소 계산 원리는 아직 완전히 이해되지 않고 있다. 이러한 시스템에서의 국소 정보 처리를 공식적으로 특성화하기 위해, 우리는 정보 이론의 최근 확장인 부분 정보 분해(Partial Information Decomposition, PID)를 활용한다. PID는 출력에 대한 서로 다른 입력들의 기여를 각 입력의 고유 정보(unique information), 입력들 간의 중복 정보(redundant information), 그리고 서로 다른 입력을 결합함으로써 나타나는 시너지 정보(synergistic information)로 분해한다. 이 프레임워크를 고전 홉필드 네트워크의 개별 뉴런에 적용한 결과, 기억 용량 이하에서는 뉴런 활동의 정보가 외부 패턴 입력과 내부 순환 입력 사이의 높은 중복성으로 특징지어지는 반면, 시너지와 고유 정보는 기억 용량이 초과되어 성능이 급격히 저하될 때까지 거의 0에 가까움을 발견하였다. 이 관찰에서 영감을 받아, 우리는 각 뉴런에서의 중복성 최대화를 정보 이론적 학습 목표로 사용한다. 이는 네트워크의 기억 용량을 1.59로 극적으로 증가시키며, 이는 고전 홉필드 네트워크의 0.14 용량 대비 10배 이상의 향상으로, 최근 최첨단 홉필드 네트워크 구현보다도 우수한 성능을 보인다. 전반적으로, 이 연구는 중복성 최대화를 연상 기억을 위한 새로운 설계 원리로 확립하고, 정보 이론적 목표에 기반한 새로운 연상 기억 모델로 나아가는 가능성을 열어준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.