arXiv:2611.23896v1 cs.LG

커널 릿지 어텐션: 선택적 망각을 갖춘 비선형 메모리

Kernel Ridge Attention: Nonlinear Memory with Selective Forgetting

Haowei Chen, Yichen Wang, Congfu Xu

제출 2026-11-19

한국어 초록

커널 릿지 어텐션(KRA)은 학습된 비선형 특징과 공분산 기반 메모리 갱신을 결합한 순환 시퀀스 믹서이다. KRA는 재귀적 릿지 회귀를 통해 연관을 저장하며, 과거 키 사이의 상관관계를 이용해 새로운 관측이 메모리를 어떻게 수정할지 결정한다. 내용 의존적 오른슈타인-울렌벡(Ornstein--Uhlenbeck) 전이가 보존을 제어하고 향후 쓰기를 위한 불확실성을 복원한다. 이 구성은 정확한 시간 커널 해석을 허용하며 컨텍스트 길이와 무관한 크기의 추론 상태를 유지한다. 연관 블록 맵과 명시적 수반(adjoint)은 재귀적 갱신을 보존하면서 병렬 학습을 지원한다. 통제된 언어 모델링 실험에서 KRA는 어텐션 및 순환 기준선보다 예측 품질을 향상시키고, 평가된 순환 모델 대비 자연스러운 연관 회상을 강화하며, 실용적인 분산 학습 처리량을 달성한다. 이러한 특성은 비선형적이고 적응적인 시퀀스 메모리를 위한 원리적 토대를 제공한다.

원문 초록

Kernel Ridge Attention (KRA) is a recurrent sequence mixer that combines learned nonlinear features with covariance-guided memory updates. It stores associations through recursive ridge regression, using correlations among past keys to determine how new observations modify memory. A content-dependent Ornstein--Uhlenbeck transition controls retention and restores uncertainty for future writes. This construction admits an exact temporal-kernel interpretation and maintains an inference state whose size is independent of context length. Associative block maps and explicit adjoints support parallel training while preserving the recursive update. In controlled language-modeling experiments, KRA improves prediction quality over attention and recurrent baselines, strengthens natural associative recall over the evaluated recurrent models, and achieves practical distributed training throughput. These properties provide a principled foundation for nonlinear, adaptive sequence memory.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23896v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.