PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15855v1cs.AI

VLM의 어텐션 싱크는 빌려온 것이지, 본 것이 아니다

Attention Sinks in VLMs Are Borrowed, Not Seen

본 연구에서는 비전-언어 모델(VLM)에서 시각적 어텐션 싱크(attention sink)를 탐지하고 완화하는 방법을 연구한다. 시각적 어텐션 싱크란 질의(query)나 과제와 무관하게 이미지 전체 어텐션 중 큰 비중을 흡수하는 이미지 토큰을 말하며, 이는 어텐션 맵을 모델이 '본' 위치에 대한 기록으로 간주하는 방법들을 오도한다. 기존 연구는 거대 활성화(massive activation) 차원을 통해 싱크를 탐지하고 그 어텐션을 재분배하는 방법을 제안했지만, 어떤 토큰이 싱크가 되는 원인에 대해서는 다루지 않았다. 네 개 계열(family)에 속한 10개의 VLM에서 여섯 가지 후보 탐지기를 비교한 결과, 이미지 토큰의 키(key)와 언어 모델의 텍스트 싱크(text-sink)의 키 사이의 중심화된 코사인 유사도(centered cosine similarity)만이 시각적 싱크를 탐지함을 확인했다. 즉, 시각적 싱크란 그 키가 텍스트 싱크의 키와 정렬되는 이미지 토큰이다. 싱크의 키 성분을 이 방향을 따라 이미지 키들의 중앙값(median)으로 이동시키면 해당 어텐션이 텍스트 싱크로 되돌아가는 반면(\textbf{Borrowed, 빌려온 것}), 모델의 답변은 변하지 않는다(\textbf{Not Seen, 본 것이 아님}). 이를 바탕으로, 우리는 먼저 어텐션 맵을 정제(clean)한 뒤 정제된 맵에서 가장 많은 어텐션을 받은 영역을 잘라내어 추론 과정(reasoning trace)에 삽입하는, 엔트로피로 촉발되는(entropy-triggered) 학습이 필요 없는(training-free) 재관찰(re-look) 기법을 제안한다. 정제 과정은 순전파에 거의 추가 연산을 유발하지 않으며, 이 재관찰 기법은 여러 모델 계열에 걸쳐 세밀한 디테일을 요구하는 VQA 벤치마크에서 평균 +4.3점의 정확도 향상을 가져온다.

arXiv:2604.23950v2cs.CV

LearnPruner: 비전-언어 모델에서의 어텐션 기반 토큰 가지치기 재고

LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models

비전-언어(Vision-Language) 모델(VLM)은 최근 시각적 이해와 추론에서 뛰어난 능력을 보여주고 있지만, 긴 시각 시퀀스 입력으로 인해 상당한 연산 부담을 초래한다. 최근 연구들은 중요하지 않은 시각 토큰을 가지치기하여 모델 성능을 유지하면서도 상당한 연산량 감소를 달성함으로써 이 문제를 해결하고자 한다. 토큰 가지치기의 핵심은 토큰 중요도를 판단하는 것이며, 현재의 접근법들은 주로 비전 인코더(vision encoder) 또는 대규모 언어 모델(LLM)의 어텐션 점수에 의존한다. 본 논문에서는 비전 인코더와 LLM 양쪽에서 어텐션 메커니즘의 효과를 분석한다. 그 결과, 비전 인코더는 어텐션 싱크(attention sink)를 겪어 정보가 풍부한 전경(foreground) 영역에 대한 초점이 저하되는 반면, LLM의 경우 기존 연구들이 토큰 위치에 대한 어텐션 바이어스를 확인했음에도 텍스트-투-비전(text-to-vision) 어텐션은 이러한 바이어스에 대한 저항성을 보이며 중간 층(middle layer)에서 효과적인 가지치기 가이던스를 제공할 수 있음을 발견했다. 이러한 관찰을 바탕으로, 우리는 비전 인코더 이후 학습 가능한 가지치기 모듈을 통해 불필요한 시각 토큰을 먼저 제거하고, 이후 LLM의 중간 층에서 과제와 관련된 토큰만을 유지하는 2단계 토큰 가지치기 프레임워크인 LearnPruner를 제안한다. 실험 결과, LearnPruner는 시각 토큰의 5.5%만을 사용하면서도 원래 성능의 약 95%를 유지할 수 있으며, 3.2배의 추론 가속을 달성하여 우수한 정확도-효율성 트레이드오프를 보여준다.

arXiv:2609.23314v2cs.LG

ValueDiff: 싱크가 억제된 LLM을 위한 값-기하 기반 KV 캐시 축출

ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs

QK-정규화(QK-normalization), 게이트형 어텐션(gated attention), 학습된 어텐션 싱크(attention sink), 또는 로짓 소프트캡핑(logit softcapping)을 사용하는 최신 LLM들은 기존 KV 캐시 축출 기법들이 주로 의존해온 지속적인 어텐션 싱크가 더 약하게 나타난다. 우리는 이러한 모델들 전반에서, 어텐션 싱크가 약할수록 키 벡터(key vector) 분산 대비 값 벡터(value vector) 분산이 더 커지는 현상이 함께 나타남을 관찰했다. 이러한 값 측(value-side) 분산에 착안하여, 우리는 ValueDiff를 제안한다. ValueDiff는 토큰의 값 벡터가 캐시 평균으로부터 갖는 L2 편차에 따라 토큰의 순위를 매기는 값-기하 기반 축출 기법이다. 동일한 점수는 향후 어텐션에 대한 최대 엔트로피(max-entropy) 가정 하에서 최소 교란(minimal-disturbance) 축출로도 도출된다. 우리는 고정된 캐시 예산 하에서 평가를 수행했으며, 프리필(prefill) 중에는 매 블록 경계에서, 생성 중에는 매 디코딩 스텝마다 축출을 적용했다. RULER에서 2k 토큰이라는 빠듯한 예산 조건에서, ValueDiff는 싱크가 억제된 7개 모델 전반에서 dense 대비 88~99%의 성능을 유지했으며(7개 중 6개 모델에서 최고 성능), LongBench에서는 4k 예산 조건에서 싱크가 억제된 모델들 전반에 걸쳐 평균 92%의 성능 유지율을 보여 가장 강력한 기존 기준선(baseline)의 83%를 상회했다. MATH-500에서는 25% 캐시 예산 조건에서 테스트된 모든 싱크가 억제된 모델에서 ValueDiff가 dense가 아닌 방법들 중 가장 우수했으며, 게이트형 어텐션 모델에서는 기존 방법들을 최대 약 20점포인트 차이로 능가했다. 세 가지 벤치마크 전반에서, 값 기하학(value geometry)은 싱크가 억제된 LLM에 대해 더 신뢰할 수 있는 쿼리 불변(query-invariant) 축출 신호로 나타났다.

arXiv:2604.03316v3cs.CV

싱크가 도움이 될 때와 해가 될 때: 대규모 비전-언어 모델의 어텐션 싱크를 위한 통합 프레임워크

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

대규모 비전-언어 모델(LVLM)에서 어텐션 싱크(attention sink)를 비전 인코더에서 유래한 V-sinks와 LLM 내부에서 발생하는 L-sinks로 분류하고, 싱크 토큰이 전역 장면 이해에는 유리하지만 세밀한 지역 인식을 억제할 수 있다는 근본적인 트레이드오프를 밝혔다. 이를 해소하기 위해 LVLM 백본을 동결한 채 표준 다음 토큰 예측만으로 학습되는 경량 플러그앤플레이 모듈 Layer-wise Sink Gating(LSG)을 제안하여 대표적인 멀티모달 벤치마크에서 성능 향상을 달성했다.

arXiv:2606.22325v1cs.LG

모든 경로는 붕괴로 이어진다

All Routes Lead to Collapse

어텐션 싱크(attention sink), 표현 붕괴(representation collapse), 노름 계층화(norm stratification)는 트랜스포머 특유의 병리로 취급된다. 우리는 이것들이 어텐션에 특정되지 않음을 보인다. 고정된 유사도 측정(metric) 하에서 콘텐츠 기반 라우팅(content-based routing)이 보이는 현상이다. 재구성 정체성(reframing identity)을 제시한다. 소프트맥스 어텐션은 키 노름이 일정한 유클리드 거리(Euclidean distances)에 대한 볼츠만 가중 집계(Boltzmann-weighted aggregation)이므로, 그 점수는 $-\|k\|^2$ 항을 생략하고 키 크기(key magnitude)에 눈멀다. 이는 표현과 부조화된 측정을 쓰는 모든 라우터가 라우팅을 집중하고 라우팅된 표현을 붕괴시키는 방식으로 보상할 것임을 예측한다. 토큰에 대한 소프트맥스 어텐션(사전학습 트랜스포머 9개), 노드에 대한 그래프 어텐션, 시간축의 선택적 상태공간 모델과 순환 혼합기(recurrent mixer), 깊이에 대한 학습된 잔차(learned residuals) 등 서로 다른 축에서 점수를 매기고 집계하는 라우터에서 이를 검증한다. 모두 동일한 특징(signature)을 발달시키며, 모델 내 두 가지 ablation은 부수적 동역학이 아니라 라우팅 메커니즘에 기인함을 보여준다. 그 형태는 우연적(contingent)이며, 각 라우터가 콘텐츠 점수와 함께 갖는 위치적 제동(positional brake)의 강도에 의해 설정된다. 우리는 그 제동을 스윕(sweep)하여 발현 시점(onset)을 전 범위에서 이동시킨다. 메커니즘은 우연적이지 않으며, 노름 계층화를 요구하지 않는다. 노름 정규화된 키를 가진 라우터도 동일하게 집중한다. 우리는 이 모델들이 리만 기하(Riemannian geometry)를 구현한다고 주장하지 않는다. 기하학적 관점은 평탄하고(norm-blind) 노름에 눈멀은 측정의 부적절성을 진단하는 이름을 부여한다.