커널 로지스틱 회귀(KLR) 기반의 고용량 연상 메모리는 뛰어난 저장 용량과 견고성을 보입니다. 선행 실증 연구들은 어트랙터 안정성이 극대화되는 하이퍼파라미터 영역인 "최적화의 능선(Ridge of Optimization)"을 확인했습니다. 그러나 이 영역의 기하학적 특성과 여기에 도달하기 위해 필요한 최적화 역학은 아직 명확히 밝혀지지 않았습니다. 본 논문에서는 KLR로 학습된 홉필드 네트워크(Hopfield networks)에서 매개변수 공간의 정적 기하학과 경사하강법(GD)의 학습 궤적을 조사합니다. 헤시안(Hessian)의 고윳값 스펙트럼을 사용하여, 능선이 주곡률이 대폭 증폭되는 기하학적 특이점으로 작용하는 랭크-1 스펙트럼 붕괴와 인접한 상경계(phase boundary)에 해당함을 밝혀냅니다. 나아가, 학습 역학이 안정성의 경계(Edge of Stability, EoS) 현상에 의해 구동되는 일시적인 자기 안정화 거동을 보임을 입증합니다. 네트워크 매개변수는 평탄한 영역을 찾는 대신, 학습률에 의해 결정되는 안정성 한계 근처에서 국소 곡률이 동적으로 평형을 이루는 상태로 이동하여 최적화 과정이 초기 불안정성을 극복할 수 있도록 합니다. 우리는 랭크-1 점근적 붕괴와 이러한 평형을 지배하는 동적 피드백 루프 모두에 대한 해석적 유도를 제공합니다. 이러한 발견은 최적의 고용량 메모리 표현이 평탄한 극솟값(flat minima)에서 형성되는 것이 아니라, 기하학적 특이점의 곡률이 높은 경계에서 동적으로 형성됨을 시사합니다.
비전-언어-행동 모델은 범용 로봇 제어를 위한 강력한 기반을 제공하지만, 정책의 대다수는 현재 관측을 넘어 에피소드 수준 정보를 보존하고 활용하지 못한다. 이 한계는 과거 관측에서만 얻을 수 있는 정보에 의존하는 이력 의존 조작 과제에서 중요한 문제가 된다. 과거 관측을 컨텍스트에 유지하면 이러한 정보를 복원하는 데 도움이 될 수 있지만, 컨텍스트가 계속 커지고 추론 지연이 커지는 큰 비용이 따른다. 따라서 MemBodied를 제안한다. 이는 고정 크기의 에피소드 기억으로, 두 가지 상보적 구성요소를 갖는다. 정책 호출 전반의 상호작용을 기록하는 연상 상태(associative state)와 초기 장면의 간결한 표현을 기준으로 보존하는 에피소드 앵커(episode anchor)이다. 각 정책 호출마다 모델은 과거 관측을 직접 사용하는 대신, 현재 입력과 기억 구성요소에 조건부로 행동 생성을 수행한다. 기억이 필요한 RMBench 5개 과제에서 MemBodied는 무상태 정책의 평균 성공률의 $7.81\times$, 일반 순환 기억의 $2.98\times$를 달성했으며, 가장 강한 기억 증강 기준선보다 $1.3\times$ 우수하면서 추가 파라미터는 $10\times$ 더 적다. 완전 관측 가능한 LIBERO-Long 스위트에서는 90.6%를 기록했으며, 무상태 $\pi_0$ 정책 대비 5.4%p 향상이다. 이 결과는 이력 의존 조작에서 정책 컨텍스트를 확장하는 대신 MemBodied가 실용적 대안임을 뒷받침한다.
홉필드 네트워크로 전통적으로 모델링되는 연상 기억(associative memory)은 부분적이거나 잡음이 있는 단서로부터 이전에 저장된 패턴을 검색할 수 있게 한다. 그러나 이 기능을 가능하게 하는 데 필요한 국소 계산 원리는 아직 완전히 이해되지 않고 있다. 이러한 시스템에서의 국소 정보 처리를 공식적으로 특성화하기 위해, 우리는 정보 이론의 최근 확장인 부분 정보 분해(Partial Information Decomposition, PID)를 활용한다. PID는 출력에 대한 서로 다른 입력들의 기여를 각 입력의 고유 정보(unique information), 입력들 간의 중복 정보(redundant information), 그리고 서로 다른 입력을 결합함으로써 나타나는 시너지 정보(synergistic information)로 분해한다. 이 프레임워크를 고전 홉필드 네트워크의 개별 뉴런에 적용한 결과, 기억 용량 이하에서는 뉴런 활동의 정보가 외부 패턴 입력과 내부 순환 입력 사이의 높은 중복성으로 특징지어지는 반면, 시너지와 고유 정보는 기억 용량이 초과되어 성능이 급격히 저하될 때까지 거의 0에 가까움을 발견하였다. 이 관찰에서 영감을 받아, 우리는 각 뉴런에서의 중복성 최대화를 정보 이론적 학습 목표로 사용한다. 이는 네트워크의 기억 용량을 1.59로 극적으로 증가시키며, 이는 고전 홉필드 네트워크의 0.14 용량 대비 10배 이상의 향상으로, 최근 최첨단 홉필드 네트워크 구현보다도 우수한 성능을 보인다. 전반적으로, 이 연구는 중복성 최대화를 연상 기억을 위한 새로운 설계 원리로 확립하고, 정보 이론적 목표에 기반한 새로운 연상 기억 모델로 나아가는 가능성을 열어준다.
멤리스터 기반 억제성 결합(inhibitory coupling)을 활용한 진동 신경망(ONN)에서 자기조직화 학습을 구현하는 뉴로모픽 회로 설계를 제시하며, Wien bridge 오실레이터와 멤리스터를 결합해 양방향 유효 가중치(signed effective weight)를 실현했다. 회로 시뮬레이션을 통해 억제성 결합이 없는 네트워크는 반위상(anti-phase) 어트랙터를 유지하지 못해 완전 동기화로 붕괴됨을 입증하고, 억제성 결합이 있는 네트워크는 노이즈 입력 제거 및 자기연상 패턴 회상에 성공함을 보였다.
Kernel Logistic Regression(KLR)으로 학습한 Hopfield 네트워크의 어트랙터 분지 기하학과 저장 한계 메커니즘을 분석한 연구로, 랜덤 시퀀스에서 P/N ≈ 16, CIFAR-10 임베딩 등 구조적 데이터에서 P/N ≈ 20의 높은 저장 용량을 실증하였다. SNR 분석과 Cover 정리 기반 기하학적 분리 가능성 비교를 통해, 실질적인 저장 한계가 특징 공간의 기하학적 제약이 아니라 크로스토크 노이즈에 대한 동적 안정성 손실에 의해 결정됨을 밝혔다.
집합론과 초고차원 컴퓨팅(hyperdimensional computing)에 기반한 새로운 마음의 계산 이론을 제안하며, 연속적 가중치와 행렬 곱 대신 희소 이진 데이터(sparse binary data)와 위상적 소성(topological plasticity)으로 연상 메모리(associative memory)를 구현하는 핵심 알고리즘을 소개한다. 부분집합 패턴 매칭을 인지의 근본 엔진으로 보고, 이 이산 논리 기반 알고리즘이 인메모리 하드웨어에 직접 구현 가능하여 인간 수준의 에너지 효율을 갖는 합성 지능으로 가는 새로운 경로를 제시한다.
레이저, Ising 머신, 응집체 등 물리적 선택기가 결정 순간에 방출하는 고차원 시그니처를 활용해 선택과 메모리 접근을 단일 이벤트로 통합하는 어트랙터 키드 메모리(Attractor-Keyed Memory, AKM) 프레임워크를 제안한다. 보정 데이터로 구성한 선형 디코더 하나로 임의의 페이로드를 복원할 수 있으며, 런타임 오차를 디코딩 충실도($\sigma_{\min}(\Phi)$)와 라우팅 신뢰성($\Delta/T_{\text{eff}}$)의 두 독립 채널로 분리해 진단·개선할 수 있음을 이론적으로 증명하고 합성 speckle 시뮬레이션으로 검증한다.
RGB-Event 기반 시각 객체 추적에서 모달리티 손실 및 부분 타깃 누락 문제를 해결하기 위해, 모달리티·공간 수준의 적대적 계층적 섭동(adversarial hierarchical perturbation)과 Footprint-guided Channel-calibrated Hopfield Retrieval(FCHR) 모듈을 결합한 APRTrack 프레임워크를 제안한다. FE108, COESOT, VisEvent, FELT 벤치마크 실험에서 구조적 신호 저하 환경에 대한 강건성과 추적 성능 향상을 입증하였다.
적대적 교란과 심각한 입력 손상에서 연상 기억 성능이 저하되는 문제를 다루기 위해 convolutional 특징 추출과 attractor 기반 검색을 구조화된 잠재 공간에서 통합한 Convolutional Restricted Hopfield Networks(CRHN)를 제안하고, 그래디언트 없는 Subspace Rotation Algorithm(SRA)로 부분공간 표현과 고정점 동역학을 학습한다. STL 데이터셋 실험에서 CRHN은 MHN·PCN 대비 재구성 오차를 한 자릿수 수준까지 낮추며 perturbation 강도가 커져도 안정적인 검색을 유지하고, 통계적으로 유의미한 개선을 보였다.
비정상 환경에서 기억이 시간에 따라 도착·표류·재발할 때 발생하는 치명적 간섭과 고정 용량 한계를 다루기 위해, Hopfield 네트워크를 일반화한 자기 크기 조절(self-sizing) 지속적 연상 기억을 제안하고 내재적 기억 수요를 Urysohn width와 대조 유사도(CS) 연산자로 추정해 사전 설정 없이 온라인으로 용량이 수렴함을 보인다. 합성 데이터셋 실험에서는 항목별 기억 재현 정확도는 강력한 베이스라인과 동등하지만, 비정상성 하에서 망각 없는 보존과 자동 용량 조절을 달성한다.