arXiv:2409.09348

QTG-VQA: Question-Type-Guided Architectural for VideoQA Systems

Zhixian He, Pengcheng Zhao, Fuwei Zhang, Shujin Lin

제출 2024-09-14

원문 초록

In the domain of video question answering (VideoQA), the impact of question types on VQA systems, despite its critical importance, has been relatively under-explored to date. However, the richness of question types directly determines the range of concepts a model needs to learn, thereby affecting the upper limit of its learning capability. This paper focuses on exploring the significance of different question types for VQA systems and their impact on performance, revealing a series of issues such as insufficient learning and model degradation due to uneven distribution of question types. Particularly, considering the significant variation in dependency on temporal information across different question types, and given that the representation of such information coincidentally represents a principal challenge and difficulty for VideoQA as opposed to ImageQA. To address these challenges, we propose QTG-VQA, a novel architecture that incorporates question-type-guided attention and adaptive learning mechanism. Specifically, as to temporal-type questions, we design Masking Frame Modeling technique to enhance temporal modeling, aimed at encouraging the model to grasp richer visual-language relationships and manage more intricate temporal dependencies. Furthermore, a novel evaluation metric tailored to question types is introduced. Experimental results confirm the effectiveness of our approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10990v1cs.CV공통 태그 Question Answering, Video Question Answering

TreeSoc: 축구 영상 이해를 위한 트리 구조 동적 추론 및 도구 시너지

TreeSoc: Tree-Structured Dynamic Reasoning and Tool Synergy for Soccer Video Understanding

비디오에서 복잡한 축구 장면을 자동으로 이해하는 것은 현재의 비전-언어(vision-language) 모델(VLM)에게 여전히 중요한 도전 과제로, 이러한 모델들은 얕은 교차 모달 정렬(cross-modal alignment)로 인해 다단계 추론 및 조율된 도구 통합에 근본적인 한계를 보인다. 우리는 축구 비디오 질의응답을 단일 패스 예측이 아닌 계층적 탐색 문제로 재정의하는 구조화된 추론 프레임워크 TreeSoc를 제안한다. 구체적으로, TreeSoc는 동적 깊이 우선 탐색(DFS) 메커니즘을 활용하여 복잡한 질의를 순차적으로 정렬된 하위 태스크로 분해하고, 명시적인 중간 상태를 통해 반복적인 추론 정제를 가능하게 한다. 이러한 트리 구조 분해는 적응형 도구 라우팅(tool routing)을 자연스럽게 지원하며, 각 추론 노드에서 도메인 특화 모듈이 선택적으로 활성화되어 그 출력이 통합됨으로써 문맥적으로 근거 있는 예측을 생성한다. SoccerBench에서 TreeSoc는 TextQA, ImageQA, VideoQA에서 각각 85.2%, 87.4%, 82.2%의 정확도로 최첨단 성능을 달성하였다. 또한 TreeSoc는 강력한 교차 도메인 일반화 능력을 입증하여 NExT-QA에서 74.16%의 정확도를 달성하였다. 이러한 결과는 구조화된 도구 증강 트리 추론이 강건한 비디오 이해를 위한 효과적인 패러다임임을 확립한다. 코드는 https://github.com/thanhnhan29/TreeSoc에서 확인할 수 있다.

arXiv:2607.11862v1cs.CV공통 태그 Question Answering, Video Question Answering

근거 기반 비디오 질의응답

Evidence-Backed Video Question Answering

현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.