arXiv:2611.23516v1 cs.CV

싱크 토큰을 넘어서: 비전-언어 모델에서의 싱크 유도 키 편집

Beyond the Sink Token: Sink-Guided Key Editing in Vision-Language Models

Hui Zhu, Saleh Zare Zade, Rafi Ibn Sultan, Xiangyu Zhou, Dongxiao Zhu

제출 2026-11-19

한국어 초록

비전-언어 모델(VLM)에서는 소수의 싱크 토큰이 불균형적으로 많은 어텐션을 끌어들인다. 기존 연구들이 이러한 토큰이 어텐션을 끄는 이유를 살펴본 반면, 우리는 싱크 키 방향이 이미지 및 질문 토큰에 대한 어텐션에 어떤 영향을 미치는지 조사한다. 네 가지 VLM을 조사한 결과, 싱크와 정렬된 양의 성분의 크기를 키우면 어텐션이 평균적으로 증가하고 음의 성분을 키우면 감소하며, 이러한 반응은 이후 층까지 지속된다. 이는 고유의 싱크 키가 자기 위치를 넘어 어텐션을 제어하는 기준이 됨을 보여 준다. 이 발견에 착안하여, 우리는 생성 중 보이는 키들에 걸쳐 싱크와 정렬된 성분을 부분적으로 줄이는 학습 불필요 방식인 SHRINK를 제안한다. 샘플링 추론 조건의 아홉 개 벤치마크에서 SHRINK는 LLaVA-OneVision-7B와 Qwen2.5-VL-3B의 평균 정확도를 각각 5.1 및 2.7 퍼센트포인트 향상시키며, 다른 두 주요 모델인 Qwen2.5-VL-7B와 Gemma-3-4B에서는 더 작은 향상을 보인다. SHRINK 외에도, 싱크와 정렬된 키 성분의 크기 조정은 기존의 두 어텐션 조향 방법인 GIFT와 ACG의 어텐션 연산을 대체할 수 있으며, 환각 벤치마크에서 비슷한 정확도를 보인다.

원문 초록

In vision-language models (VLMs), a few sink tokens attract a disproportionate share of attention. While previous studies have examined why these tokens attract attention, we investigate how the sink-key direction affects attention to image and question tokens. Across four probed VLMs, boosting the magnitude of positive sink-aligned components increases attention on average, whereas boosting negative components decreases it; these responses persist through later layers. This identifies the native sink key as a reference for controlling attention beyond its own position. Motivated by this finding, we propose SHRINK, a training-free method that partially reduces sink-aligned components across visible keys during generation. On nine benchmarks under sampled reasoning, it improves mean accuracy by 5.1 and 2.7 percentage points on LLaVA-OneVision-7B and Qwen2.5-VL-3B, with smaller gains on the other two main models, Qwen2.5-VL-7B and Gemma-3-4B. Beyond SHRINK, rescaling sink-aligned key components can replace the attention operations of two existing attention-steering methods, GIFT and ACG, with comparable accuracy on hallucination benchmarks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23516v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.