VLM의 어텐션 싱크는 빌려온 것이지, 본 것이 아니다
Attention Sinks in VLMs Are Borrowed, Not Seen
한국어 초록
본 연구에서는 비전-언어 모델(VLM)에서 시각적 어텐션 싱크(attention sink)를 탐지하고 완화하는 방법을 연구한다. 시각적 어텐션 싱크란 질의(query)나 과제와 무관하게 이미지 전체 어텐션 중 큰 비중을 흡수하는 이미지 토큰을 말하며, 이는 어텐션 맵을 모델이 '본' 위치에 대한 기록으로 간주하는 방법들을 오도한다. 기존 연구는 거대 활성화(massive activation) 차원을 통해 싱크를 탐지하고 그 어텐션을 재분배하는 방법을 제안했지만, 어떤 토큰이 싱크가 되는 원인에 대해서는 다루지 않았다. 네 개 계열(family)에 속한 10개의 VLM에서 여섯 가지 후보 탐지기를 비교한 결과, 이미지 토큰의 키(key)와 언어 모델의 텍스트 싱크(text-sink)의 키 사이의 중심화된 코사인 유사도(centered cosine similarity)만이 시각적 싱크를 탐지함을 확인했다. 즉, 시각적 싱크란 그 키가 텍스트 싱크의 키와 정렬되는 이미지 토큰이다. 싱크의 키 성분을 이 방향을 따라 이미지 키들의 중앙값(median)으로 이동시키면 해당 어텐션이 텍스트 싱크로 되돌아가는 반면(\textbf{Borrowed, 빌려온 것}), 모델의 답변은 변하지 않는다(\textbf{Not Seen, 본 것이 아님}). 이를 바탕으로, 우리는 먼저 어텐션 맵을 정제(clean)한 뒤 정제된 맵에서 가장 많은 어텐션을 받은 영역을 잘라내어 추론 과정(reasoning trace)에 삽입하는, 엔트로피로 촉발되는(entropy-triggered) 학습이 필요 없는(training-free) 재관찰(re-look) 기법을 제안한다. 정제 과정은 순전파에 거의 추가 연산을 유발하지 않으며, 이 재관찰 기법은 여러 모델 계열에 걸쳐 세밀한 디테일을 요구하는 VQA 벤치마크에서 평균 +4.3점의 정확도 향상을 가져온다.
원문 초록
We study how to detect and mitigate visual attention sinks in vision-language models (VLMs). Visual attention sinks are image tokens that absorb a large share of attention over the image regardless of the query or task, and they mislead methods that treat attention maps as a record of where the model ``looked.'' Prior work has detected sinks through massive activation dimensions and proposed redistributing their attention, but none have addressed what makes a token become a sink. Comparing six candidate detectors on ten VLMs from four families, we find that only the centered cosine similarity between an image token's key and the key of the language model's text-sink detects visual sinks. Thus, a visual sink is an image token whose key aligns with the text-sink's key. Moving a sink's key component along this direction to the median of the image keys sends its attention back to the text-sink (\textbf{Are Borrowed}) while leaving model answers unchanged~(\textbf{Not Seen}). Building on this, we propose a training-free, entropy-triggered re-look that first cleans the attention map, then crops the most-attended region of the cleaned map and inserts it into the reasoning trace. Cleaning adds negligible computation to the forward pass, and the re-look improves accuracy with a mean gain of $+4.3$ points on fine-detail VQA benchmarks across model families.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
보이는 것 그 이상인가? 비전-언어 주행 모델 학습에서 추론과 계획 간의 단절 규명
More Than Meets the Eye? Uncovering the Reasoning-Planning Disconnect in Training Vision-Language Driving Models
비전-언어 모델(VLM) 기반 주행 에이전트는 자연어 추론을 먼저 생성한 뒤 궤적 계획을 예측함으로써 설명 가능한 엔드투엔드 자율주행을 실현할 것으로 기대받고 있습니다. 그러나 계획이 이러한 추론에 의해 인과적으로 구동되는지는 매우 중요하지만 검증되지 않은 가정으로 남아 있습니다. 이를 조사하기 위해, 본 연구에서는 nuPlan으로부터 자동 생성된 계획 정렬 사고의 연쇄(CoT)를 포함하는 대규모 주행 시각적 질의응답(VQA) 코퍼스인 DriveMind를 구축합니다. 본 데이터 생성 과정은 센서와 어노테이션을 정형화된 입력으로 변환하며, 특히 사전 정보(prior)와 추론 대상 신호를 분리하여 명확한 정보 절제(ablation)를 가능하게 합니다. DriveMind를 사용하여 지도 미세조정(SFT) 및 그룹 상대 정책 최적화(GRPO)로 대표적인 VLM 에이전트를 학습시키고 nuPlan 메트릭으로 평가합니다. 안타깝게도 실험 결과는 추론-계획 간의 일관된 인과적 단절을 나타냅니다. 자차(ego)/내비게이션 사전 정보를 제거하면 계획 점수가 크게 하락하는 반면, CoT를 제거해도 점수 변화는 미미합니다. 어텐션 분석 또한 계획 단계가 CoT보다는 주로 사전 정보에 집중함을 보여줍니다. 이러한 증거를 바탕으로, 본 연구는 학습을 통해 산출된 추론이 인과적 매개체가 아니라 부수적인 부산물에 불과하다고 상정하는 '추론-계획 분리 가설(Reasoning-Planning Decoupling Hypothesis)'을 제안합니다. 효율적인 진단을 위해, 사소한 입력 섭동에 대한 계획 강건성을 평가하여 에이전트의 사전 정보 의존도를 측정하는 새로운 학습 무관(training-free) 프로브를 도입합니다. 요약하자면, 본 연구는 향후 모델의 인과적 충실성을 평가할 수 있는 새로운 데이터셋과 진단 도구를 커뮤니티에 제공합니다.
LearnPruner: 비전-언어 모델에서의 어텐션 기반 토큰 가지치기 재고
LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models
비전-언어(Vision-Language) 모델(VLM)은 최근 시각적 이해와 추론에서 뛰어난 능력을 보여주고 있지만, 긴 시각 시퀀스 입력으로 인해 상당한 연산 부담을 초래한다. 최근 연구들은 중요하지 않은 시각 토큰을 가지치기하여 모델 성능을 유지하면서도 상당한 연산량 감소를 달성함으로써 이 문제를 해결하고자 한다. 토큰 가지치기의 핵심은 토큰 중요도를 판단하는 것이며, 현재의 접근법들은 주로 비전 인코더(vision encoder) 또는 대규모 언어 모델(LLM)의 어텐션 점수에 의존한다. 본 논문에서는 비전 인코더와 LLM 양쪽에서 어텐션 메커니즘의 효과를 분석한다. 그 결과, 비전 인코더는 어텐션 싱크(attention sink)를 겪어 정보가 풍부한 전경(foreground) 영역에 대한 초점이 저하되는 반면, LLM의 경우 기존 연구들이 토큰 위치에 대한 어텐션 바이어스를 확인했음에도 텍스트-투-비전(text-to-vision) 어텐션은 이러한 바이어스에 대한 저항성을 보이며 중간 층(middle layer)에서 효과적인 가지치기 가이던스를 제공할 수 있음을 발견했다. 이러한 관찰을 바탕으로, 우리는 비전 인코더 이후 학습 가능한 가지치기 모듈을 통해 불필요한 시각 토큰을 먼저 제거하고, 이후 LLM의 중간 층에서 과제와 관련된 토큰만을 유지하는 2단계 토큰 가지치기 프레임워크인 LearnPruner를 제안한다. 실험 결과, LearnPruner는 시각 토큰의 5.5%만을 사용하면서도 원래 성능의 약 95%를 유지할 수 있으며, 3.2배의 추론 가속을 달성하여 우수한 정확도-효율성 트레이드오프를 보여준다.
VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
ReToken: 시각 검색 토큰을 활용한 긴 문맥 VLM 성능 향상
ReToken: Improving Long-Context VLMs with Visual Retrieval Token
긴 시각적 문맥(long visual context)은 비전-언어 모델(VLM)에 큰 도전 과제가 됩니다. 방해 요소(distractor)의 수가 증가함에 따라 성능이 저하되고, 모든 토큰을 한 번에 처리하면 GPU 메모리 한계를 초과할 수 있기 때문입니다. 본 논문에서는 사전 채워진(pre-filled) KV 캐시에서 질의 관련 시각 토큰을 선택하기 위해 VLM의 내부 표현에서 검색 신호를 추출하는 단일 학습 가능 임베딩인 RETOKEN을 제시합니다. 이를 통해 별도의 검색기(retriever)나 재인코딩 없이도 답변을 생성하는 VLM 내부에서 검색이 가능해집니다. 소규모 이미지-QA 데이터셋만을 기반으로 학습되었음에도 불구하고, RETOKEN은 이미지 및 비디오 벤치마크 전반에 걸쳐 뛰어난 일반화 성능을 보입니다. Visual Haystacks에서 Qwen3VL-8B의 성능을 13.4점, InternVL3.5의 성능을 12.4점(상대적 20% 이상) 향상시켰습니다. LVBench에서는 긴 비디오에 제로샷(zero-shot)으로 전이되어 Qwen3VL-8B의 성능을 8.0점 향상시켰습니다. 경량화된 설계 덕분에 학습과 긴 비디오 추론이 모두 단일 H100에서 수행 가능합니다. 코드는 https://github.com/avaxiao/ReToken 에서 이용할 수 있습니다.
보는 것이 아는 것은 아니다: 비전-언어 모델은 언제 공간적 질문에 답하지 말아야 하는지(그리고 그 이유는 무엇인지) 알고 있는가?
Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)?
공간 추론 벤치마크는 일반적으로 비전-언어 모델(VLM)이 시각적 관측으로부터 정답을 도출할 수 있는지를 평가합니다. 그러나 실제 3D 환경에서는 관측 자체가 신뢰할 수 없을 수 있습니다. 가림(occlusion)은 태스크 관련 증거를 없앨 수 있으며, 원근법적 시점(perspective)은 보이는 기하학적 구조를 오도할 수 있습니다. 따라서 신뢰할 수 있는 공간 추론을 위해서는 질문에 올바르게 답하는 것 이상이 요구됩니다. 모델은 또한 현재의 관측이 해당 답변에 대해 충분하고 신뢰할 수 있는 증거를 제공하는지 평가해야 합니다. 본 연구에서는 시점에 따른 관측 불확실성을 연구하기 위한 통제된 평가 프레임워크인 SPATIALUNCERTAIN을 소개합니다. 우리는 상호 보완적인 두 가지 실패 모드, 즉 가림으로 인해 발생하는 증거 누락과 시점으로 인해 발생하는 오도적 증거를 연구합니다. 나아가 모델이 현재의 시점이 신뢰할 수 없는 시점임을 인식하고 더 많은 정보를 제공하는 관측을 식별할 수 있는지 평가합니다. 8개의 오픈소스 및 상용 비전-언어 모델에 걸쳐 분석한 결과, 모델의 동작이 시각적 증거의 신뢰성을 따르지 않음을 발견했습니다. 모델은 증거가 사라짐에 따라 안정적으로 더 신중해지지 않으며, 시점 충돌 상황에서 모델의 판단은 변하지 않는 물리적 3D 관계 대신 투영된 외형을 점차 더 따르게 됩니다. 내부 분석은 이에 상응하는 표현 비대칭성을 시사합니다. 즉, 투영된 2D 관계는 쉽게 활용 가능한 반면 기저의 물리적 3D 관계는 거의 디코딩되지 않습니다. 더욱이 명시적으로 요청받았을 때 유익한 시점을 식별할 수 있는 모델조차도 언제 그러한 추가 시점이 필요한지 인식하는 데는 자주 실패합니다. 이러한 실패는 프롬프트나 미세조정으로 완전히 해결되지 않으며, 동일한 오도적 관측에 깊이 정보를 추가하는 것보다 더 나은 시점을 제공하는 것이 실질적으로 훨씬 더 효과적입니다. 우리의 결과는 시각적 관측의 신뢰성을 평가하는 것이 현재 공간 추론 평가에서 뚜렷이 구별되는 누락된 구성 요소임을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.