정지 상태의 어텐션은 계속 정지해 있다: 관계 환각 완화를 위한 시각적 관성 깨기
Attention at Rest Stays at Rest: Breaking Visual Inertia to Mitigate Relation Hallucinations
멀티모달 대규모 언어 모델(MLLM)은 강력한 개체 수준의 인지 능력을 보여주지만, 객체 간의 관계적 상호작용을 충실하게 그라운딩(grounding)하는 것은 여전히 지속적인 과제로 남아 있습니다. 기존의 시각적 그라운딩 기법들은 시각적 어텐션(attention)을 증폭하여 환각(hallucination)을 해결하려 시도하지만, 전반적인 시각 신호를 강화하는 것만으로는 관계 오류를 안정적으로 바로잡지 못합니다. 관계 설명에서 시각적 어텐션을 추적한 결과, 올바른 응답은 여러 영역에 걸쳐 초점을 동적으로 전환하는 경향이 있는 반면, 환각이 발생한 응답은 이전에 지배적이었던 근거에 계속 머무르는 바람직하지 않은 \textit{시각적 관성(visual inertia)}을 보이는 것으로 나타났습니다. 추가 분석에 따르면 이전 단계의 시각적 어텐션이 현재 디코딩 단계로 더 많이 전달될수록 관계 예측 성능이 지속적으로 저하됩니다. 이에 따라 저자들은 토큰(token) 수준의 어텐션 이력을 활용하여 시각적 값을 동적으로 재보정하는 MLLM 디코딩 기법인 Inertia-aware Visual Excitation(IVE)을 제안합니다. IVE는 현재 어텐션을 최근 이동 평균과 대조함으로써 관련성이 높아지는 창발적 토큰과 지속적으로 지배적인 관성 토큰을 분리하고, 반복적으로 참조된 영역의 기여도를 완만하게 감쇠시키는 동시에 새로 필요한 근거를 선택적으로 강화합니다. 세 가지 MLLM 및 디코딩 전략 전반에서, IVE는 더 넓은 멀티모달 성능을 보존하면서 관계 환각을 줄입니다.