비전 트랜스포머는 전체-대-전체 어텐션이 필요한가? 탄력적 학습 코어를 통한 전역 통신
Do Vision Transformers Need All-to-All Attention? Global Communication Through Elastic Learned Cores
비전 트랜스포머(ViT)는 패치 토큰 간의 전체-대-전체(all-to-all) 셀프 어텐션을 통해 풍부한 시각-의미 표현을 학습한다. 그러나 이러한 설계는 효과적인 표현 학습을 위해 직접적인 패치 간 쌍별 상호작용이 필수적이라고 암묵적으로 가정한다. 본 연구에서는 이러한 가정에 도전하며, 직접적인 패치-대-패치 상호작용 없이도 전역 인식(global recognition)과 밀집 예측(dense prediction)을 모두 지원하는 표현을 학습할 수 있음을 보인다. 우리는 소수의 학습된 코어에 의해 매개되는 코어-주변부(core-periphery) 구조의 어텐션을 갖는 비전 트랜스포머인 VECA(Visual Elastic-Core Attention)를 제안한다. 패치 토큰은 오직 이 코어들을 통해서만 전역 정보를 교환하며, 전체 밀집 패치 집합은 보존된 채 레이어를 거치며 반복적으로 업데이트된다. 이는 어텐션 복잡도를 $O(N^2)$에서, 고정된 코어 예산 $C$에 대해 패치 수 $N$에 선형인 $O(N)$으로 줄인다. 기존의 잠재 토큰 교차 어텐션(latent-token cross-attention) 아키텍처와 달리, VECA는 공간적 표현 자체를 압축하지 않으면서도 희소한 전역 통신을 가능하게 한다. 코어 축을 따른 중첩 학습(nested training)은 또한 재학습 없이도 추론 시점에 단일 모델이 연산량과 정확도 간의 균형을 탄력적으로 조정할 수 있게 한다. 이미지 분류 및 밀집 예측 과제 전반에서 VECA는 전체 어텐션 백본과 경쟁력을 유지하며, 평가된 선형 복잡도 대안들을 대부분의 벤치마크에서 능가한다. 또한 명시적인 지도(supervision) 없이도 이러한 코어들은 비디오 프레임 간 객체 레이블 전이(object-label transfer)를 지원하는 의미론적으로 조직화된 구조를 발전시킨다. 이러한 결과는 직접적인 전체-대-전체 패치 상호작용 없이도 효과적인 시각적 표현을 학습할 수 있음을 보여준다.