한국어 초록
대규모 비전-언어 모델(LVLM)과 언어 모델(LLM)은 시퀀스 시작(BOS) 토큰과 같은 특정 위치가 불균형적으로 많은 어텐션을 받는 어텐션 싱크를 자주 보인다. 그러나 표준 인과 마스킹 하에서 BOS 쿼리는 자기 자신에게만 어텐션하므로, 이후 토큰들이 반복적으로 접근하는 표현은 입력에 대한 정보를 담지 못한다. 우리는 이 지속적인 경로를 입력 문맥을 담도록 재활용하는 학습 불필요 추론 시점 방법인 BOS 요약(BOS Summary)을 제안한다. 프리필 중 단일 트랜스포머 층에서 BOS 요약은 BOS 쿼리 행에 대해서만 인과 제약을 완화하여, BOS가 모든 시각 및 텍스트 입력 토큰을 자기 유래 문맥 표현으로 집계하게 하며, 다른 모든 토큰은 표준 인과 어텐션을 유지한다. 이렇게 풍부해진 표현은 추가 파라미터, 보조 모듈, 디코딩 시 오버헤드 없이 디코딩 내내 모델이 접근할 수 있다. 여러 VLM 및 LLM 계열과 여덟 개의 멀티모달 및 텍스트 전용 벤치마크에서, BOS 요약은 직접 프롬프팅과 사고의 연쇄(Chain-of-Thought) 프롬프팅보다 향상되며, 다단계 추론 과제에서 최근의 싱크 개입 방법들보다 우수한 성능을 보인다. 메커니즘 분석은 BOS를 입력 특화적으로 만들면 싱크 지배력도 약해지고 어텐션이 내용을 담은 프롬프트 토큰으로 재분배됨을 보여 주며, 이는 싱크가 담는 내용을 바꾸는 것이 이후 층의 어텐션 할당 방식을 재구성함을 시사한다.
원문 초록
Large vision-language models (LVLMs) and language models (LLMs) often exhibit attention sinks, whereby particular positions, such as the beginning-of-sequence (BOS) token, receive a disproportionate share of attention. Under standard causal masking, however, the BOS query attends only to itself, so the representation that later tokens repeatedly access carries no information about the input. We introduce BOS Summary, a training-free inference-time method that repurposes this persistent pathway to carry input context. At a single transformer layer during prefill, BOS Summary relaxes the causal constraint for the BOS query row alone, letting BOS aggregate all visual and textual input tokens into a self-derived context representation while every other token retains standard causal attention. The enriched representation then remains accessible to the model throughout decoding, with no additional parameters, auxiliary modules, or decoding-time overhead. Across multiple VLM and LLM families and eight multimodal and text-only benchmarks, BOS Summary improves over direct and Chain-of-Thought prompting and outperforms recent sink-intervention methods on multi-step reasoning tasks. A mechanistic analysis shows that making BOS input-specific also weakens its sink dominance and redistributes attention toward content-bearing prompt tokens, indicating that changing what a sink carries reshapes how later layers allocate attention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23508v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.