게이트 선형 어텐션과 KAN으로 비전 아키텍처 재고
Rethinking Vision Architectures with Gated Linear Attention and KAN
비전 트랜스포머(Vision Transformers)는 채널 혼합(channel mixing)을 위해 대부분의 파라미터를 다층 퍼셉트론(MLP)에 할당하는 반면, 토큰 간 상호작용은 보통 이차 복잡도의 다중 헤드 자기 어텐션(MHSA)에 의존한다. 선형 어텐션(linear attention)은 시퀀스 복잡도를 O(N)으로 줄이지만, 소프트맥스 트랜스포머와 동일한 고정 활성화 MLP와 결합된 채로 남아 있다. Kolmogorov-Arnold Networks(KAN)는 대신 간(edge) 위에 학습 가능한 단변량(univariate) 맵을 두지만, 기존 비전 KAN은 MHSA를 유지하거나 어텐션을 아예 생략한다. 본 논문은 chunkwise Gated Linear Attention(GLA)과 2층 KAN feed-forward를 결합한 등방(isotropic) ViT 인코더인 LKAT(Linear Kolmogorov-Arnold Transformer)를 제안하고, 방사 기저(radial-basis) 그리드 맵을 위한 I/O 인지형 융합 RBF-KAN 커널을 제공한다. 공통 DeiT 스타일 레시피 하에서 LKAT를 ViT, ViT-5, MLP-Mixer와 비교한다. LKAT-B는 ImageNet-100에서 ViT-B/16, ViT-5-B, Mixer-B/16을 능가한다. Tiny/Small/Base LKAT 변형은 CIFAR-10/100에서 일관되게 스케일링되며, ImageNet-100 사전학습(pre-training)은 CIFAR 미세조정(fine-tuning)으로 전이된다. 결과는 게이트 선형 어텐션과 KAN 기반 방사 기저 함수가 중간 규모(mid-scale) 시각 표현 학습에서 상보적인 귀납적 편향(inductive bias)으로 작용함을 뒷받침한다.