arXiv:2610.29526v2 cs.LG

기하학적 상태 공간, 메모리 표현, 그리고 아키텍처

Geometric state space, memory representation and architectures

Shang Xu

제출 2026-11-19

한국어 초록

본 논문은 어텐션 아키텍처를 유도하기 위한 기하학적 프레임워크를 제시한다. 시퀀스는 메모리 $m\in M_n$을 형성하며, 어텐션 페어링 $\rho_n\colon M_n\to\operatorname{Hom}(A,A)$은 그 메모리가 각 토큰 상태에 작용하는 방식을 결정한다. 이 작용의 서로 다른 표현은 익숙한 아키텍처를 복원한다. 소프트맥스 어텐션은 개별 키-값 쌍을 읽고, 선형 어텐션은 그 기여를 행렬 통계량에 누적하며, Intention은 키에서 값으로의 회귀 맵을 적합한다. 이 프레임워크는 또한 쿼리-키 페어링의 기하, 각 값이 담는 함수, 또는 메모리를 표현하는 공간을 바꿈으로써 새로운 아키텍처를 제안한다. ImageNet-1K 실험은 기하학적 CAFormer 변형, 쿼리 의존적 값을 가진 ViT, 더 넓은 메모리 표현을 가진 선형 ViT를 통해 이러한 구성들을 보여 준다.

원문 초록

We introduce a geometric framework for deriving attention architectures. A sequence forms a memory $m\in M_n$, and an attention pairing $\rho_n\colon M_n\to\operatorname{Hom}(A,A)$ determines how that memory acts on each token state. Different representations of this action recover familiar architectures: softmax attention reads individual key--value pairs, linear attention accumulates their contributions in matrix statistics, and Intention fits a regression map from keys to values. The framework also suggests new architectures by changing the geometry of the query--key pairing, the function carried by each value, or the space representing the memory. ImageNet-1K experiments illustrate these constructions through geometric CAFormer variants, a ViT with query-dependent values, and a linear ViT with a wider memory representation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.29526v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.