arXiv:2609.02731v1 cs.CV

RVSD: 대규모 비전-언어 모델의 시각적 환각 완화를 위한 검색 기반 비전 희소 디코딩

RVSD: Retrieval Vision Sparse Decoding for Mitigating Visual Hallucinations in Large Vision-Language Models

Canjie Liu, Jiawen Kang, Jinbo Wen, Zishao Zhong

제출 2026-09-02

한국어 초록

대규모 비전-언어 모델은 비전-언어 과제에서 눈에 띄는 성공을 거두었다. 그러나 이러한 모델은 여전히 시각적 환각(Visual Hallucinations, VHs)에 취약하여, 실제 응용에서의 신뢰성을 저해한다. 기존 해결책은 일반적으로 선별된 데이터셋, 추가 학습 또는 다중 라운드 디코딩을 필요로 하며, 이로 인해 상당한 연산 오버헤드가 발생한다. 본 논문에서는 학습이 필요 없고(training-free) 플러그 앤 플레이 방식인 디코딩 프레임워크 \textbf{RVSD}(\underline{R}etrieval \underline{V}ision \underline{S}parse \underline{D}ecoding)를 제안한다. RVSD는 토큰 희소화(token sparsification)와 \textbf{의미 공간 시각 검색}(Semantic-Space Visual Retrieval, SSVR)을 단일 디코딩 과정 내에서 최초로 통합한다. RVSD에서는 중요한 시각 정보를 보존하면서 중복된 토큰을 선택적으로 희소화하는 \textbf{의미 지향 토큰 선택}(semantics-directed token selection) 전략을 도입한다. 또한 시각적 보상(visual compensation)을 공유 의미 공간 내에서 필요할 때 수행되는 교차 모달 검색 과정으로 재정식화하는 SSVR 메커니즘을 제안한다. 폭넓은 실험을 통해 RVSD가 VHs 완화에서 최고 수준(state-of-the-art)의 성능을 달성하며, 긴 컨텍스트 생성 설정에서도 견고한 억제 성능을 유지함을 보인다. 코드는 여기에서 확인할 수 있다.\footnote{https://github.com/canjie-liu/RVSD}

원문 초록

Large vision-language models have achieved remarkable success in vision-language tasks. However, they remain prone to Visual Hallucinations (VHs), undermining their reliability in real-world applications. Existing solutions typically require curated datasets, additional training, or multi-round decoding, resulting in considerable computational overhead. In this paper, we propose \textbf{RVSD} (\underline{R}etrieval \underline{V}ision \underline{S}parse \underline{D}ecoding), a training-free and plug-and-play decoding framework that, for the first time, unifies token sparsification and \textbf{Semantic-Space Visual Retrieval} (SSVR) within a single decoding pass. Within RVSD, we introduce a \textbf{semantics-directed token selection} strategy that selectively sparsifies redundant tokens while preserving critical visual information. We further propose the SSVR mechanism, which reformulates visual compensation as an on-demand cross-modal retrieval process within a shared semantic space. Extensive experiments demonstrate that RVSD achieves state-of-the-art performance in mitigating VHs while maintaining robust suppression capabilities under long-context generation settings. Our code is available here.\footnote{https://github.com/canjie-liu/RVSD}

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.02731v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.