모든 등변 어텐션을 포괄하는 등변 아키텍처는 존재하지 않는다
No Equivariant Architecture Covers All Equivariant Attention
한국어 초록
본 논문에서는 등변(equivariant) 다중 헤드 자기 어텐션(MHSA)에 대한 완전한 특성화(characterization)를 제시한다. MHSA 층(layer)이 대칭군(symmetry group) $G$에 대해 등변성을 만족하면, $G$는 오직 헤드 클러스터를 치환함으로써만 작용할 수 있으며, 이때 QK 및 OV 행렬은 해당 군 작용과 연계된 등변성 제약 조건을 만족해야 한다. 그 결과로, 제약 없는 MHSA 매개변수(parameter)를 다항식 형태로 매개변수화하여 엄밀한 등변성을 달성하는 어떠한 고정된 MHSA 아키텍처도 등변 사상(equivariant map) 클래스 내에서 필연적으로 표현력 손실(loss)을 초래함을 증명한다. 제약 없는 MHSA의 등변성 궤적(equivariance locus)은 축소된 매개변수 공간에서 극히 많은 자리스키 기약 성분(Zariski-irreducible components)의 합집합을 형성하며, 단일 아키텍처는 기껏해야 그중 하나만을 포괄할 수 있다. 토큰(token) 특징(feature) 공간으로서 정규 표현의 $C$개 복사본에 작용하는 $G=D_4$의 경우, 8개의 어텐션(attention) 헤드에 대해 $\Omega(C^{64})$개의 성분이 존재함을 보인다.
원문 초록
We give a complete characterization of equivariant multi-head self-attention (MHSA): if an MHSA layer is equivariant to a symmetry group $G$, then $G$ can only act by permuting head-clusters, with QK and OV matrices satisfying an equivariance constraint tied to the group action. As a consequence, we prove that any fixed MHSA architecture that achieves exact equivariance by polynomially parameterizing unconstrained MHSA parameters inevitably leads to expressivity loss within the class of equivariant maps: the equivariance locus of unconstrained MHSA forms a union of extremely many Zariski-irreducible components in a reduced parameter space, and any single architecture covers at most one. For $G=D_4$ acting on $C$ copies of the regular representation as the token feature space, we show that there are $Ω(C^{64})$ components for eight attention heads.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.30417v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.