arXiv:2611.00383v1 cs.CV

LF-VideoQA: 장문 마음 이론 질문으로 장편 비디오 이해 평가하기

LF-VideoQA: Evaluating Long-Video Understanding with Long-Form Theory-of-Mind Questions

Shaden Shaar, Bradon Thymes, Majd Aldaye, Claire Cardie, Bharath Hariharan

제출 2026-11-03

한국어 초록

장편 비디오를 이해하는 데 가장 어려운 부분은 어느 한 순간을 정확히 짚어내는 것이 아니라 여러 순간을 종합하는 것이다. 예를 들어 수 시간 분량의 콘텐츠에 걸쳐 전개되는 내용을 추적하고 각 조각이 어떻게 맞물리는지 설명해야 하는 질문에 답하는 일이 그렇다. 지금까지 대부분의 장편 비디오 QA 데이터셋은 짧은 답변이나 객관식 선택만 요구하여 장편 비디오 이해 과제를 검색 수준으로 지나치게 단순화한다. 우리는 마음 이론 질문을 기반으로 장편 서사 비디오에 대한 장문 개방형 질의응답을 위한 데이터셋 LF-VideoQA를 소개한다. 등장인물의 믿음은 그가 보았거나 전해 들은 모든 것에 좌우되므로, 각 질문은 비디오 전반에 분포한 증거를 모아 추론할 것을 요구한다. 이 데이터셋은 최근 영화 94편에 대한 6,300개 이상의 질문을 포함하며, 각 질문은 평균 23분에 걸친 장면에 대한 추론을 요구하고 재현율과 정밀도 채점을 위한 질문별 루브릭이 함께 제공된다. 데이터셋은 시나리오에 장면 사건과 각 등장인물의 1차 믿음 및 메타 믿음을 주석한 뒤, LLM 기반 질문 생성과 검증을 통해 (질문, 답변, 루브릭) 삼중쌍을 생성하는 방식으로 완전 자동으로 만들어지며, 사람 대상 연구로 그 품질을 검증한다. 우리는 세 가지 설정에서 네 계열의 최첨단 오픈소스 VLM을 평가했으며 이 과제가 매우 어렵다는 것을 확인했다. (i) 시나리오에 접근할 수 있는 오라클조차 완전한 답변에는 크게 못 미친다. (ii) 오라클이 아닌 최고 모델은 오라클 재현율 수준의 절반을 간신히 달성한다. (iii) 기존 장편 비디오 벤치마크와 달리 캡션과 자막은 비디오 자체보다 성능이 낮으며, 이는 질문이 시각적 증거를 필요로 함을 나타낸다. (iv) 재현율이 지배적인 병목이며, 답변이 요구되는 루브릭 주장을 다수 누락한다.

원문 초록

The hardest part of understanding a long video is not pinpointing any one moment but synthesizing many, e.g., answering a question that requires tracking what develops across hours of content and articulating how the pieces fit together. To date, most long-video QA datasets require only a short answer or a multiple-choice selection, oversimplifying the long-video understanding task to retrieval. We introduce LF-VideoQA, a dataset for long-form, open-ended question answering over long narrative videos built on theory-of-mind questions: a character's belief depends on everything they have seen or been told, so each question demands assembling and reasoning from evidence distributed across the video. The dataset contains more than 6,300 questions on 94 recent films; each requires reasoning over scenes spanning an average of 23 minutes and comes with a question-specific rubric for recall and precision scoring. The dataset is created entirely automatically by annotating screenplays with scene events and each character's first-order beliefs and meta-beliefs, then generating (question, answer, rubric) triples through LLM-based question generation and verification; human studies validate their quality. We evaluate four families of state-of-the-art open-source VLMs across three settings and find the task highly challenging: (i) even an oracle with access to the screenplay falls well short of complete answers; (ii) the best non-oracle model attains barely half of the recall level of the oracle; (iii) unlike on prior long-video benchmarks, captions and subtitles underperform the video itself, indicating that the questions need visual evidence; and (iv) recall is the predominant bottleneck, with answers omitting many required rubric claims.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.00383v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.