arXiv:2604.01989v4 cs.CV

정지 상태의 어텐션은 계속 정지해 있다: 관계 환각 완화를 위한 시각적 관성 깨기

Attention at Rest Stays at Rest: Breaking Visual Inertia to Mitigate Relation Hallucinations

Boyang Gong, Yu Zheng, Fanye Kong, Jie Zhou, Jiwen Lu

제출 2026-04-02

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 강력한 개체 수준의 인지 능력을 보여주지만, 객체 간의 관계적 상호작용을 충실하게 그라운딩(grounding)하는 것은 여전히 지속적인 과제로 남아 있습니다. 기존의 시각적 그라운딩 기법들은 시각적 어텐션(attention)을 증폭하여 환각(hallucination)을 해결하려 시도하지만, 전반적인 시각 신호를 강화하는 것만으로는 관계 오류를 안정적으로 바로잡지 못합니다. 관계 설명에서 시각적 어텐션을 추적한 결과, 올바른 응답은 여러 영역에 걸쳐 초점을 동적으로 전환하는 경향이 있는 반면, 환각이 발생한 응답은 이전에 지배적이었던 근거에 계속 머무르는 바람직하지 않은 \textit{시각적 관성(visual inertia)}을 보이는 것으로 나타났습니다. 추가 분석에 따르면 이전 단계의 시각적 어텐션이 현재 디코딩 단계로 더 많이 전달될수록 관계 예측 성능이 지속적으로 저하됩니다. 이에 따라 저자들은 토큰(token) 수준의 어텐션 이력을 활용하여 시각적 값을 동적으로 재보정하는 MLLM 디코딩 기법인 Inertia-aware Visual Excitation(IVE)을 제안합니다. IVE는 현재 어텐션을 최근 이동 평균과 대조함으로써 관련성이 높아지는 창발적 토큰과 지속적으로 지배적인 관성 토큰을 분리하고, 반복적으로 참조된 영역의 기여도를 완만하게 감쇠시키는 동시에 새로 필요한 근거를 선택적으로 강화합니다. 세 가지 MLLM 및 디코딩 전략 전반에서, IVE는 더 넓은 멀티모달 성능을 보존하면서 관계 환각을 줄입니다.

원문 초록

While multimodal large language models demonstrate strong entity-level perception, faithfully grounding relational interactions between objects remains a persistent challenge. Although conventional visual grounding techniques attempt to resolve hallucinations by amplifying visual attention, strengthening overall visual signals fails to reliably correct relational errors. Tracing visual attention in relation descriptions reveals that correct responses tend to dynamically shift focus across regions, whereas hallucinated responses often linger on previously dominant evidence, exhibiting an undesirable \textit{visual inertia}. Further analysis shows that relation-prediction performance steadily deteriorates as more previous-step visual attention is carried into the current decoding step. We therefore introduce Inertia-aware Visual Excitation (IVE), an MLLM decoding method that dynamically recalibrates visual values using token-level attention history. By contrasting current attention against recent moving averages, IVE separates emergent tokens with rising relevance from persistently dominant inertia tokens, selectively reinforcing newly needed evidence while mildly attenuating contributions from repeatedly attended regions. Across three MLLMs and decoding strategies, IVE reduces relation hallucinations while preserving broader multimodal performance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.01989v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05479v2cs.CR공통 태그 Hallucination

생성형 AI 워크플로우에서의 특권과 기밀성

Privilege and confidentiality in generative AI workflows

생성형 AI(GenAI) 시스템은 클라이언트 데이터를 세 가지 방식으로 저장하고 처리한다: 학습과 기억화를 통해 모델의 파라미터에, 실시간 세션 중 컨텍스트 윈도우에, 그리고 검색-증강 생성(RAG)을 위한 지식 데이터베이스에. 각 방식은 기밀성과 법적 직업상 특권에 대해 서로 다르고 종종 반직관적인 위험을 초래하며, 각각 특정한 거버넌스 대응을 요구한다. 특권과 생성형 AI를 다룬 최초의 영국 및 미국 판결인 UK and Munir v Secretary of State for the Home Department와 United States v Heppner, 이 판결들이 해석되어야 할 기존의 특권 판례들, 그리고 최근의 컴퓨터 과학 연구를 바탕으로, 우리는 실무자들이 이해할 수 있는 방식으로 데이터 저장 및 처리의 세 가지 방식을 설명하고 각각의 법적 결과를 분석한다. 이어서 우리는 이 분석을 잉글랜드 및 웨일스의 사무변호사를 규율하는 규제 체계와 통상적인 직업상 과실의 일반 원칙 내에 위치시키며, 효과적인 정보 거버넌스의 기준(그리고 그에 따라 과실 및 위법 행위를 판단하는 벤치마크)이 변화하고 있다고 주장한다. 우리는 주로 SRA 규제를 받는 실무자들을 대상으로 서술하지만, 데이터 거버넌스 분석은 특권 또는 직업상 비밀의 보호가 증명 가능한 기밀성에 달려 있는 모든 법적 관할권으로 확장될 수 있도록 구성하였다. 이 논문의 궁극적인 목적은 법률 서비스 전문가들이 GenAI 시스템에서의 주요 데이터 유출 위험을 이해하도록 돕고, 이를 통해 클라이언트 데이터 및 기타 민감한 자료에 대한 GenAI의 보다 책임 있는 배포를 촉진하는 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.