PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13518v1math.DS

트랜스포머 내 이산 시간 셀프 어텐션 역학의 점근적 분석

Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers

머신러닝에서 셀프 어텐션 역학은 트랜스포머의 어텐션(attention) 메커니즘을 설명하며, 트랜스포머의 층(layer) 인덱스를 시간 인덱스로 취급하여 도출됩니다. 본질적으로 이산 시간(discrete-time) 시스템임에도 불구하고, 이러한 동적 시스템은 대부분 연속 시간으로 연구되어 왔습니다. 본 논문의 목적은 이산 시간 버전의 셀프 어텐션 역학을 철저하게 조사하는 것입니다. 단일 헤드 및 멀티헤드 사례 모두에서 평형점(equilibria)에 대한 완전한 분류(classification)를 제시하고 그 안정성 특성을 연구합니다. 두 경우 모두 역학의 주요 어트랙터(attractor)가 값(value) 행렬의 주 고유벡터(멀티헤드 사례의 경우 상응하는 가중치(weight) 행렬)와 정렬된 합의 평형점(consensus equilibrium)임을 보입니다. 다만, 단일 헤드 상황에서는 국소적으로 점근적 안정한 다른 이분 평형점(bipartite equilibria)도 존재함을 보일 수 있습니다. 이러한 동작은 실제 트랜스포머의 학습된 가중치 행렬을 살펴봄으로써 검증됩니다.