arXiv:2007.06198

Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder

Gouthaman KV, Anurag Mittal

제출 2020-07-13

원문 초록

Recent studies have shown that current VQA models are heavily biased on the language priors in the train set to answer the question, irrespective of the image. E.g., overwhelmingly answer "what sport is" as "tennis" or "what color banana" as "yellow." This behavior restricts them from real-world application scenarios. In this work, we propose a novel model-agnostic question encoder, Visually-Grounded Question Encoder (VGQE), for VQA that reduces this effect. VGQE utilizes both visual and language modalities equally while encoding the question. Hence the question representation itself gets sufficient visual-grounding, and thus reduces the dependency of the model on the language priors. We demonstrate the effect of VGQE on three recent VQA models and achieve state-of-the-art results on the bias-sensitive split of the VQAv2 dataset; VQA-CPv2. Further, unlike the existing bias-reduction techniques, on the standard VQAv2 benchmark, our approach does not drop the accuracy; instead, it improves the performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28222v1cs.CV공통 태그 Question Answering, Visual Grounding, Visual Question Answering

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2610.13636v1cs.CV공통 태그 Visual Grounding, Visual Question Answering (VQA)

원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹

Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering

그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.