순수 어텐션 하드맥스 트랜스포머의 군집화와 감성 분석에서의 역할
Clustering in pure-attention hardmax transformers and its role in sentiment analysis
트랜스포머는 매우 성공적인 기계학습 모델이지만 그 수학적 성질은 여전히 잘 이해되지 않고 있다. 본 연구에서는 하드맥스 셀프 어텐션과 정규화 서브레이어를 갖는 트랜스포머의 층 수가 무한대로 갈 때의 거동을 엄밀하게 규명한다. 이러한 트랜스포머를 유클리드 공간에서 점들의 진화를 기술하는 이산 시간 동역학계로 보고, 초평면 분리에 기반한 셀프 어텐션 메커니즘의 기하학적 해석을 활용하여, 트랜스포머 입력이 \textit{리더}라 불리는 특별한 점들에 의해 결정되는 군집 평형으로 점근적으로 수렴함을 보인다. 이어서 이러한 이론적 이해를 활용하여 완전히 해석 가능한 트랜스포머 모델로 언어 처리의 감성 분석 문제를 해결하는데, 이 모델은 의미 없는 단어들을 가장 많은 의미를 지닌 리더 단어 주위로 군집화함으로써 '문맥'을 효과적으로 포착한다. 마지막으로, 트랜스포머의 수학적 분석과 실제 구현 사이의 간극을 메우기 위해 남은 과제들을 개괄한다.