볼츠만 어텐션: 협력적 어텐션을 위한 학습 가능한 이징 결합
Boltzmann Attention: Learnable Ising Couplings for Cooperative Attention
기존 어텐션(attention)의 위치 간 상호작용 부재를 해결하기 위해 학습 가능한 쌍대 결합(pairwise couplings)을 갖는 이징 모델(Ising model) 기반의 볼츠만 어텐션(Boltzmann attention)을 제안한다. 문자 수준 언어 모델링 및 합성 괄호 일치 작업에서 표준 소프트맥스 어텐션을 상회하는 성능을 입증하였으며, 시퀀스 길이가 길어질수록 효과가 증대됨을 확인했다.