arXiv:2605.12491v2 cs.CV

비전 트랜스포머는 전체-대-전체 어텐션이 필요한가? 탄력적 학습 코어를 통한 전역 통신

Do Vision Transformers Need All-to-All Attention? Global Communication Through Elastic Learned Cores

Alan Z. Song, Yinjie Chen, Mu Nan, Deva Ramanan, Michael J. Tarr, Andrew F. Luo

제출 2026-05-12

저자 비고

arXiv Comments

Project repository here: https://github.com/alansong1322/VECA

한국어 초록

비전 트랜스포머(ViT)는 패치 토큰 간의 전체-대-전체(all-to-all) 셀프 어텐션을 통해 풍부한 시각-의미 표현을 학습한다. 그러나 이러한 설계는 효과적인 표현 학습을 위해 직접적인 패치 간 쌍별 상호작용이 필수적이라고 암묵적으로 가정한다. 본 연구에서는 이러한 가정에 도전하며, 직접적인 패치-대-패치 상호작용 없이도 전역 인식(global recognition)과 밀집 예측(dense prediction)을 모두 지원하는 표현을 학습할 수 있음을 보인다. 우리는 소수의 학습된 코어에 의해 매개되는 코어-주변부(core-periphery) 구조의 어텐션을 갖는 비전 트랜스포머인 VECA(Visual Elastic-Core Attention)를 제안한다. 패치 토큰은 오직 이 코어들을 통해서만 전역 정보를 교환하며, 전체 밀집 패치 집합은 보존된 채 레이어를 거치며 반복적으로 업데이트된다. 이는 어텐션 복잡도를 $O(N^2)$에서, 고정된 코어 예산 $C$에 대해 패치 수 $N$에 선형인 $O(N)$으로 줄인다. 기존의 잠재 토큰 교차 어텐션(latent-token cross-attention) 아키텍처와 달리, VECA는 공간적 표현 자체를 압축하지 않으면서도 희소한 전역 통신을 가능하게 한다. 코어 축을 따른 중첩 학습(nested training)은 또한 재학습 없이도 추론 시점에 단일 모델이 연산량과 정확도 간의 균형을 탄력적으로 조정할 수 있게 한다. 이미지 분류 및 밀집 예측 과제 전반에서 VECA는 전체 어텐션 백본과 경쟁력을 유지하며, 평가된 선형 복잡도 대안들을 대부분의 벤치마크에서 능가한다. 또한 명시적인 지도(supervision) 없이도 이러한 코어들은 비디오 프레임 간 객체 레이블 전이(object-label transfer)를 지원하는 의미론적으로 조직화된 구조를 발전시킨다. 이러한 결과는 직접적인 전체-대-전체 패치 상호작용 없이도 효과적인 시각적 표현을 학습할 수 있음을 보여준다.

원문 초록

Vision Transformers (ViTs) learn rich visual-semantic representations through all-to-all self-attention among patch tokens. However, this design implicitly assumes that direct pairwise patch interactions are necessary for effective representation learning. In this work, we challenge this assumption and show that representations supporting both global recognition and dense prediction can be learned without direct patch-to-patch interaction. We propose VECA (Visual Elastic-Core Attention), a vision transformer with core-periphery structured attention mediated by a small set of learned cores. Patch tokens exchange global information exclusively through these cores, while the full set of dense patches are preserved and iteratively updated across layers. This reduces attention complexity from $O(N^2)$ to $O(N)$, linear in the number of patches $N$ for a fixed core budget $C$. Unlike prior latent-token cross-attention architectures, VECA facilitates sparse global communication without compressing the spatial representation itself. Nested training along the core axis further enables a single model to elastically trade off computation and accuracy at inference time without retraining. Across image classification and dense prediction tasks, VECA remains competitive with full-attention backbones and outperforms the evaluated linear-complexity alternatives on most benchmarks. Moreover, without explicit supervision, these cores develop semantically organized structures that support object-label transfer across video frames. These results show that effective visual representations can be learned without direct all-to-all patch interaction.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.12491v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15997v1cs.LG공통 태그 Representation Learning, Image Classification

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13766v1cs.CV공통 태그 Representation Learning, Image Classification

재난 간 피해 평가를 위한 지리공간 파운데이션 모델 임베딩의 지름길 학습

Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment

지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.