arXiv:2501.08771

Admitting Ignorance Helps the Video Question Answering Models to Answer

Haopeng Li, Tom Drummond, Mingming Gong, Mohammed Bennamoun, Qiuhong Ke

제출 2025-01-15

원문 초록

Significant progress has been made in the field of video question answering (VideoQA) thanks to deep learning and large-scale pretraining. Despite the presence of sophisticated model structures and powerful video-text foundation models, most existing methods focus solely on maximizing the correlation between answers and video-question pairs during training. We argue that these models often establish shortcuts, resulting in spurious correlations between questions and answers, especially when the alignment between video and text data is suboptimal. To address these spurious correlations, we propose a novel training framework in which the model is compelled to acknowledge its ignorance when presented with an intervened question, rather than making guesses solely based on superficial question-answer correlations. We introduce methodologies for intervening in questions, utilizing techniques such as displacement and perturbation, and design frameworks for the model to admit its lack of knowledge in both multi-choice VideoQA and open-ended settings. In practice, we integrate a state-of-the-art model into our framework to validate its effectiveness. The results clearly demonstrate that our framework can significantly enhance the performance of VideoQA models with minimal structural modifications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10990v1cs.CV공통 태그 Question Answering, Video Question Answering

TreeSoc: 축구 영상 이해를 위한 트리 구조 동적 추론 및 도구 시너지

TreeSoc: Tree-Structured Dynamic Reasoning and Tool Synergy for Soccer Video Understanding

비디오에서 복잡한 축구 장면을 자동으로 이해하는 것은 현재의 비전-언어(vision-language) 모델(VLM)에게 여전히 중요한 도전 과제로, 이러한 모델들은 얕은 교차 모달 정렬(cross-modal alignment)로 인해 다단계 추론 및 조율된 도구 통합에 근본적인 한계를 보인다. 우리는 축구 비디오 질의응답을 단일 패스 예측이 아닌 계층적 탐색 문제로 재정의하는 구조화된 추론 프레임워크 TreeSoc를 제안한다. 구체적으로, TreeSoc는 동적 깊이 우선 탐색(DFS) 메커니즘을 활용하여 복잡한 질의를 순차적으로 정렬된 하위 태스크로 분해하고, 명시적인 중간 상태를 통해 반복적인 추론 정제를 가능하게 한다. 이러한 트리 구조 분해는 적응형 도구 라우팅(tool routing)을 자연스럽게 지원하며, 각 추론 노드에서 도메인 특화 모듈이 선택적으로 활성화되어 그 출력이 통합됨으로써 문맥적으로 근거 있는 예측을 생성한다. SoccerBench에서 TreeSoc는 TextQA, ImageQA, VideoQA에서 각각 85.2%, 87.4%, 82.2%의 정확도로 최첨단 성능을 달성하였다. 또한 TreeSoc는 강력한 교차 도메인 일반화 능력을 입증하여 NExT-QA에서 74.16%의 정확도를 달성하였다. 이러한 결과는 구조화된 도구 증강 트리 추론이 강건한 비디오 이해를 위한 효과적인 패러다임임을 확립한다. 코드는 https://github.com/thanhnhan29/TreeSoc에서 확인할 수 있다.

arXiv:2607.11862v1cs.CV공통 태그 Question Answering, Video Question Answering

근거 기반 비디오 질의응답

Evidence-Backed Video Question Answering

현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.