Knowledge-Based Counterfactual Queries for Visual Question Answering
원문 초록
Visual Question Answering (VQA) has been a popular task that combines vision and language, with numerous relevant implementations in literature. Even though there are some attempts that approach explainability and robustness issues in VQA models, very few of them employ counterfactuals as a means of probing such challenges in a model-agnostic way. In this work, we propose a systematic method for explaining the behavior and investigating the robustness of VQA models through counterfactual perturbations. For this reason, we exploit structured knowledge bases to perform deterministic, optimal and controllable word-level replacements targeting the linguistic modality, and we then evaluate the model's response against such counterfactual inputs. Finally, we qualitatively extract local and global explanations based on counterfactual responses, which are ultimately proven insightful towards interpreting VQA model behaviors. By performing a variety of perturbation types, targeting different parts of speech of the input question, we gain insights to the reasoning of the model, through the comparison of its responses in different adversarial circumstances. Overall, we reveal possible biases in the decision-making process of the model, as well as expected and unexpected patterns, which impact its performance quantitatively and qualitatively, as indicated by our analysis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LININ: Logic Integrated Neural Inference Network for Explanatory Visual Question Answering
Few-Shot Multimodal Explanation for Visual Question Answering
OVQA: A Clinically Generated Visual Question Answering Dataset
Focal Visual-Text Attention for Memex Question Answering
언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택
Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.
추론이 아닌 결정 학습: 저차원 활성화 스티어링을 통한 매개변수 효율적 결정 연산자
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
동결된(frozen) 언어 모델에 스킬을 주입하는 데는 현재 백만 개의 매개변수와 강화학습 파이프라인이 소요됩니다. 본 연구에서는 행동 복제(behavior cloning)로 학습되어 이 비용을 약 2단계(orders of magnitude)가량 낮추는 시스템-1(System-1) 결정 연산자인 DecSteer를 소개합니다. 기본 연산자는 33만(330K) 개의 매개변수를 사용하여 강화학습으로 학습된 133만(1.33M) 개 매개변수의 연산자와 동등하거나 그 이상의 성능을 달성하는 동시에, 정확도 손실 없이 3,685개 토큰의 숙고 과정을 6개 토큰의 결정으로 압축합니다. 기존에 발표된 가장 강력한 스킬 연산자의 1/58 수준인 2만 3천(23K) 개 매개변수를 가진 랭크-4(rank-4) 변형은 SearchQA에 충분하며, 더 높은 랭크가 여전히 도움이 되는 LiveMath에서도 충분한 수준에 근접합니다. 동일한 방식이 5가지 태스크와 3가지 백본 전반에 전이되며, 학습 후 수개월 뒤에 공개된 LiveMath 문제에서도 분포 외(out-of-distribution) 성능 향상이 유지됩니다. 이전 연구와의 성능 격차 원인은 학습 가능성(trainability)에 있으며, 이는 초기화와 아키텍처에 의해 함께 결정됩니다. 이전 연산자들의 초기화는 첫 최적화 단계에서 두 대형 인수 행렬의 그래디언트를 0으로 만드는 반면, 공유된 저차원 백본 내부에서 영점 초기화(zero-initialized)된 본 연구의 출력 투영은 즉시 그래디언트를 수신하며, 이는 그래디언트 흐름 탐침(gradient-flow probe)을 통해 직접 확인됩니다. 이러한 성능 향상은 사고의 연쇄(Chain-of-Thought) 압축에 의한 것이 아닙니다. LiveMath의 57점 중 23점은 기본 모델의 Best-of-8 샘플링을 능가하며, 로짓 렌즈(logit-lens) 탐침을 통해 연산자가 답을 조기에 작성하는 것이 아니라 모델의 기존 후반부 층 경로를 따라 답을 증폭한다는 것을 보여줍니다. 성능 이득은 13개의 기본 모델-태스크 쌍에 걸쳐 기본 모델의 개선 여지(headroom)를 따르며, 스킬들은 추론 시점에 더하고, 보간하고, 핫스왑할 수 있는 대략적인 선형 연산자로 결합됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.