R$^{3}$Sieve: 고해상도 VQA를 위해 어텐션에서 답변까지 무조건적 정보를 억제하기
R$^{3}$Sieve: Suppressing Unconditional Information from Attention to Answers for High-Resolution VQA
한국어 초록
고해상도 시각 질의응답(VQA)은 모델이 고해상도 영상에서 질문과 관련된 작은 객체를 식별하고 인식한 내용에 근거하여 올바른 답을 선택해야 하므로 세밀한 지각을 요구한다. 기존 방법은 더 나은 시각적 증거(이미지 크롭)를 얻는 데 집중하지만, 증거를 얻는 것만으로는 부족하며 이를 효과적으로 활용하는 것도 똑같이 중요하다. 따라서 시각적 증거는 추론 전반에서 최대한 효과적으로 활용되어야 한다. 본 연구는 작은 대상의 증거가, 의존해야 할 조건이 제거된 이후에도 후속 처리에서 계속 관측되는 무조건적 정보에 가려진다고 주장한다. 이러한 정보는 작은 대상 증거의 효과적인 활용을 방해한다. 본 연구는 학습이 필요 없는 프레임워크인 R$^{3}$Sieve(Residual-Region-Response Sieve)를 제안한다. 추론을 위치 파악, 크롭, 응답의 세 단계로 나누고, 각 단계의 간섭을 억제하기 위해 서로 다른 반사실적 참조를 도입한다. 위치 파악 단계에서 Shared-Subspace Canceller(SSC)는 일반적인 이미지 설명으로 반사실적 참조를 구성하여 질문과 관련된 어텐션 맵을 얻는다. 크롭 단계에서 Unique-Contribution Spotter(UCS)는 시각 및 비시각 특징으로 반사실적 참조를 구성하여 서로 구별되고 상호 보완적인 크롭 영역을 식별한다. 응답 단계에서 Content-Aligned Voter(CAV)는 이미지가 없는 분기를 구성하여 답변 응답을 보정한다. 세 가지 고해상도 VQA 벤치마크에서의 실험은 R$^{3}$Sieve가 다양한 설정에서 비교 방법 중 가장 높은 전체 정확도를 달성하며 기반 모델을 최대 21.5%p 향상시킴을 보여 준다.
원문 초록
High-resolution visual question answering (VQA) requires models to identify question-relevant small objects in high-resolution images and select the correct answer based on what they recognize, demanding fine-grained perception. Previous methods focus on obtaining better visual evidence (image crops), but obtaining it alone is insufficient, using it effectively is equally crucial. Visual evidence should therefore be utilized as effectively as possible throughout inference. We argue that small-target evidence is obscured by unconditional information that remains observable in subsequent processing even after the condition on which it should depend is removed. Such information hinders the effective use of small-target evidence. We propose R$^{3}$Sieve (Residual-Region-Response Sieve), a training-free framework. We divide inference into three stages---localization, cropping, and answering---and introduce distinct counterfactual references to suppress interference at each stage. During localization, the Shared-Subspace Canceller (SSC) uses a generic image description to construct a counterfactual reference and obtain question-relevant attention maps. During cropping, the Unique-Contribution Spotter (UCS) constructs counterfactual references from visual and non-visual features to identify distinctive, complementary crop regions. During answering, the Content-Aligned Voter (CAV) constructs an image-free branch to calibrate answer responses. Experiments on three high-resolution VQA benchmarks show that R$^{3}$Sieve achieves the highest overall accuracy among compared methods across diverse settings, improving base models by up to 21.5 percentage points.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24060v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.