싱크혼 이중 확률적 어텐션의 랭크 감쇠 분석
Sinkhorn doubly stochastic attention rank decay analysis
셀프 어텐션(self-attention) 메커니즘은 트랜스포머(Transformer) 구조의 성공에 핵심적인 역할을 합니다. 그러나 표준 행-확률적(row-stochastic) 어텐션은 레이어를 거치면서 심각한 신호 저하를 겪는 것으로 나타났습니다. 특히 토큰 표현이 점차 균일해지는 랭크 붕괴(rank collapse)와 매우 집중된 어텐션 분포를 특징으로 하는 엔트로피 붕괴(entropy collapse)를 유발할 수 있습니다. 최근 연구에서는 엔트로피 정규화의 한 형태로서 이중 확률적(doubly stochastic) 어텐션의 이점을 강조하며, 더욱 균형 잡힌 어텐션 분포를 촉진하여 실증적 성능 향상으로 이어진다는 점을 보여주었습니다. 본 논문에서는 네트워크 깊이에 따른 랭크 붕괴를 연구하고, 싱크혼(Sinkhorn) 알고리즘으로 정규화된 이중 확률적 어텐션 행렬이 표준 소프트맥스(softmax) 행-확률적 어텐션 행렬보다 랭크를 더 효과적으로 보존함을 보입니다. 소프트맥스에서 기존에 입증되었듯이, 스킵 연결(skip connection)은 랭크 붕괴를 완화하는 데 결정적입니다. 우리는 감성 분석과 이미지 분류 태스크 모두에서 이러한 현상을 실증적으로 검증합니다. 나아가 싱크혼 정규화를 사용할 때 순수 셀프 어텐션의 랭크 감쇠에 대한 이론적 경계를 유도하며, 소프트맥스에서 이미 입증된 현상과 마찬가지로 랭크가 네트워크 깊이에 따라 이중 지수적(doubly exponentially)으로 1까지 감쇠함을 발견합니다.