arXiv:2511.14137v3 cs.CV

Unifying Convolution and Attention via Convolutional Nearest Neighbors

Mingi Kang, Jeová Farias Sales Rocha Neto

제출 2025-11-18

원문 초록

Convolutional Neural Networks and Vision Transformers are the two dominant architectural families in computer vision, defined by spatially local convolution and global self-attention respectively. Despite their apparent differences, we show that both operations are special cases of a single $k$-nearest neighbor aggregation framework: convolution selects neighbors by spatial proximity while attention selects by feature similarity, placing them at two ends of a shared operational spectrum. We introduce Convolutional Nearest Neighbors (ConvNN), a unified framework that exactly recovers standard and depthwise convolution, self-attention, and sparse attention variants including KVT-attention as special cases, and exposes the design space of neighbor-selection strategies between them through configurable similarity functions, positional encodings, and aggregation kernels. We validate ConvNN on ImageNet-1K classification across two complementary architectures: a hybrid branching layer in ResNet-50 that combines local and global feature learning, improving top-1 accuracy by 3.0% over the ResNet-50 baseline, and ConvNN-attention in ViT-Base that achieves 81.64% top-1 accuracy, surpassing standard multi-head self-attention by 0.7%. Together, these results demonstrate that ConvNN provides a principled foundation for designing operations that bridge convolutional and attention-based computation.

요약

합성곱(convolution)과 셀프 어텐션(self-attention)이 각각 공간적 근접성과 특징 유사도 기반의 이웃 선택 전략으로 구분되는 $k$-최근접 이웃($k$-NN) 집계 프레임워크의 특수 사례임을 수학적으로 증명하고, 이를 기반으로 ConvNN이라는 통합 프레임워크를 제안한다. ImageNet-1K 분류에서 ConvNN을 적용한 ResNet-50은 기존 대비 top-1 정확도 3.0% 향상을, ConvNN 어텐션을 탑재한 ViT-Base는 표준 멀티헤드 셀프 어텐션 대비 0.7% 향상된 81.64%를 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.14137v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15836v1cs.CL공통 태그 Representation Learning, Inductive Bias

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

arXiv:2610.15997v1cs.LG공통 태그 Representation Learning, Image Classification

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13766v1cs.CV공통 태그 Representation Learning, Image Classification

재난 간 피해 평가를 위한 지리공간 파운데이션 모델 임베딩의 지름길 학습

Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment

지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.

arXiv:2610.02903v1cs.CV공통 태그 Representation Learning, Image Classification

ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.

arXiv:2610.03370v1cs.CV공통 태그 Representation Learning, Image Classification

LAS-CLIP: CLIP 시각 인코더를 위한 경량 어댑터 스티어링 접근법

LAS-CLIP: A Lightweight Adapter Steering Approach for CLIP's Visual Encoder

CLIP의 시각 인코더는 전역(global) 이미지 표현만을 생성하므로 영역 수준 작업에서의 활용이 제한됩니다. 기존의 적응 방식들은 시각적 프롬프팅(visual prompting), 입력 마스킹, 또는 인코더 미세조정에 의존하며, 각각 사전학습된 표현을 손상시킵니다. 본 논문에서는 모든 CLIP 매개변수를 동결(frozen) 상태로 유지하는 경량 어댑터 스티어링 접근법인 LAS-CLIP을 제안합니다. 소형 MaskAdapter는 입력 마스크로부터 헤드별, 층별 어텐션 편향을 생성하여 동결된 셀프 어텐션 층에 주입함으로써 어텐션을 대상 영역으로 유도합니다. 결정적으로 백본이 엄격하게 변경되지 않은 상태로 유지되기 때문에, LAS-CLIP은 마스크가 제공되지 않을 때 바닐라 CLIP으로 원활하게 복귀하여 근본적인 제로샷(zero-shot) 능력을 보존합니다. 약 116K~145K개의 학습 가능한 매개변수와 두 대의 T4 GPU에서 100K개의 학습 샘플만으로, LAS-CLIP은 Alpha-CLIP이 수백만 개의 샘플에서 전체 인코더를 미세조정했음에도 불구하고 ImageNet-S 제로샷 분류 및 RefCOCO 지칭 표현 이해(referring expression comprehension)에서 경쟁력 있거나 우수한 결과를 달성합니다. 정성적 분석은 잘못된 마스크가 주어졌을 때와 다운스트림 생성 작업에서 더 강력한 표현 충실도를 추가로 확인해 줍니다. 프로젝트 페이지 링크는 https://github.com/AnhKhoa585/lasclip 입니다.

arXiv:2610.01864v1cs.SD공통 태그 Representation Learning, Inductive Bias

개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견

From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment

음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.