Lightning Self-Attention의 대수적 불변량
Algebraic Invariants of Lightning Self-Attention
한국어 초록
본 논문에서는 lightning self-attention의 다항식 계수를 대수다양체(algebraic variety)의 좌표로 연구한다. 단일 토큰(token)의 경우, 계수 다양체를 랭크 제약이 있는 Chow 유형의 다양체로 특징짓고 이 설명으로부터 대수 방정식을 도출한다. 다중 토큰의 경우, 선형 관계를 통해 비선형 기하학을 서로 다른 토큰 간의 상호작용을 포함하는 계수들로 축소한다. 본 연구는 결과로 나타나는 다양체를 공통 일차 인수와 나머지 인수에 대한 로우 랭크(low-rank) 조건으로 특징짓는다. 이러한 구조는 행렬식(determinantal), 베로네제(Veronese) 유형 및 실베스터 종결식(Sylvester resultant) 기반 불변량의 명시적 계열들을 생성한다. 랭크 1(rank-one)인 경우, 자연스러운 펜슬(pencil) 및 편평화(flattening) 방정식이 다양체를 집합론적으로 정의한다. 또한 저차원에서의 계산으로 이러한 결과들을 보완하며, 여기서 이론적 구성을 통해 정의 아이디얼(defining ideal)의 생성원들을 복원한다. 전반적으로, 본 논문은 lightning self-attention에 의해 다항식 계수 배열에 부과되는 대수적 제약 조건들에 대한 구조적 설명을 제공하고, 실현 불가능성(non-realizability)에 대한 명시적 증명서(certificate)를 제시한다.
원문 초록
We study the polynomial coefficients of lightning self-attention as coordinates of an algebraic variety. In the single-token case, we characterize the coefficient variety as a rank-constrained Chow-type variety and derive algebraic equations from this description. For multiple tokens, linear relations reduce the nonlinear geometry to coefficients involving interactions between distinct tokens. We characterize the resulting variety by a common linear factor together with a low-rank condition on the remaining factors. This structure yields explicit families of determinantal, Veronese-type, and Sylvester resultant-based invariants. In the rank-one case, natural pencil and flattening equations define the variety set-theoretically. We complement these results with computations in small dimensions, where the theoretical constructions recover the generators of the defining ideals. Overall, the paper gives a structural description of the algebraic constraints imposed on polynomial coefficient arrays by lightning self-attention and provides explicit certificates of non-realizability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.15632v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.