비디오-언어 모델은 일반적으로 더 많은 시간적 관찰(temporal observation)이 더 신뢰할 수 있는 추론으로 이어진다고 가정한다. 본 연구는 이러한 가정에 의문을 제기하며, 핵심 과제는 단순히 더 많은 비디오 프레임을 효율적으로 처리하는 것이 아니라, 제한된 시간적 증거(temporal evidence) 하에서도 신뢰할 수 있게 추론하는 법을 학습하는 것이라고 주장한다. 우리는 밀집 비디오 뷰(dense video view)를 희소 프레임 추론(sparse-frame inference)을 위한 학습 시점 참조로 사용하는 dense-to-sparse 사후 학습 프레임워크인 SAVER를 제안한다. 강화학습 기반 사후 학습 과정에서, 쌍을 이루는 밀집 뷰와 희소 뷰는 그라운딩 보상(grounding reward)과 신뢰도 게이팅된 참조 보상(reliability-gated reference reward)으로 최적화되며, 이를 통해 희소 뷰 예측이 과제와 관련된 시간적 증거를 보존하도록 유도한다. 특히 SAVER는 비디오 질의응답(video question answering) 주석을 전혀 사용하지 않고, 무작위로 샘플링된 1,250개의 시간적 그라운딩(temporal grounding) 예제만으로 학습된다. 세 가지 시간적 그라운딩 벤치마크와 여섯 가지 비디오 질의응답 벤치마크에서, SAVER는 프레임 예산(frame budget)에 관계없이 일관되게 성능을 향상시킨다. 특히 SAVER는 훨씬 적은 프레임을 사용하면서도 밀집 프레임(dense-frame) Qwen3.5 베이스라인과 동등하거나 이를 상회하는 성능을 보인다. 이러한 결과는 시간적 그라운딩이 더 넓은 비디오 이해(video understanding) 과제로 전이되는 희소 비디오 추론을 학습하기 위한 효과적인 증거 위치 파악(evidence-localization) 프록시로 활용될 수 있음을 보여준다.
비디오 모먼트 검색(Video Moment Retrieval, VMR)의 목표는 주어진 언어적 질의와 의미론적으로 일치하는 비디오 내의 시간적 구간(temporal span)을 예측하는 것이다. 멀티모달 대규모 언어 모델(MLLM) 기반의 기존 VMR 방식들은 고비용의 고품질 데이터셋과 시간 소모적인 미세조정(fine-tuning)에 지나치게 의존한다. 최근 일부 연구에서는 미세조정을 피하기 위해 제로샷(zero-shot) 설정을 도입했으나, 질의에 내재된 언어 바이어스(language bias)를 간과하여 잘못된 위치 특정(localization)을 초래한다. 이러한 문제를 해결하기 위해, 본 논문에서는 동결된(frozen) MLLM을 활용하는 튜닝 불필요(tuning-free) 제로샷 VMR 파이프라인인 Moment-GPT를 제안한다. 구체적으로, 언어 바이어스를 완화하기 위해 먼저 LLaMA-3를 사용하여 질의를 교정 및 재표현한다. 이어서 MiniGPT-v2와 결합된 구간 생성기(span generator)를 설계하여 후보 구간들을 적응적으로 생성한다. 마지막으로 MLLM의 비디오 이해 능력을 활용하기 위해 VideoChatGPT 및 구간 채점기(span scorer)를 적용하여 가장 적절한 구간을 선택한다. 제안하는 방법은 QVHighlights, ActivityNet-Captions, Charades-STA를 포함한 여러 공개 데이터셋에서 최신 MLLM 기반 모델 및 제로샷 모델들의 성능을 대폭 능가한다.
기존 비디오 추론 프레임워크가 시간적 그라운딩과 답변 추론을 단일 궤적에서 혼합해 발생하는 '조기 의미 확정' 문제를 해결하기 위해, Qwen3-VL 기반의 EFlow는 T-CoT와 R-CoT로 증거 탐색과 추론을 명시적으로 분리하고 신뢰도 마진 기반의 적응형 반영 메커니즘을 도입했다. VideoMME Overall 69.1%, LVBench 52.5% 등 5개 벤치마크에서 장편 비디오 추론 성능이 일관되게 향상됨을 입증했다.
최근 영상 대규모 언어 모델(VideoLLM)의 발전으로 영상-언어 이해를 위한 새로운 평가 프로토콜과 벤치마크가 필요해졌다. LLM에서 널리 사용되는 건초 더미 속 바느질(needle in a haystack) 테스트에서 영감을 받아, 고급 VideoLLM의 시간적 이해 능력을 평가하기 위해 Montage 속 바느질(Needle in a Montage, NeMo)이라는 새로운 과제를 제안한다. 구체적으로, 제안된 과제는 시간적 이해에 중요한 두 가지 기본 능력, 즉 검색(retrieval) 방식의 긴 문맥 정보 회상(recall)과 시간적 그라운딩(temporal grounding)에 초점을 둔다. 과제를 위한 영상 질의응답(VQA) 데이터를 생성하기 위해, 고품질 데이터 합성을 지원하는 확장 가능한 자동 데이터 생성 파이프라인을 개발한다. 제안된 파이프라인을 기반으로, 본 과제를 중심으로 한 영상-언어 벤치마크 NeMoBench를 제시한다. 구체적으로, NeMoBench 전체 세트는 수초에서 수시간에 이르는 다양한 길이의 13,486개 영상에서 자동 생성된 31,378개의 질의-응답(QA) 쌍으로 구성된다. 실험 결과, 파이프라인이 고품질 평가 데이터를 신뢰성 있게 자동 생성할 수 있음을 보여 주며, 이를 통해 NeMoBench를 최신 영상으로 지속적으로 업데이트할 수 있다. 벤치마크에서 20개의 최신(state-of-the-art) 모델을 평가하여, 각 모델의 능력과 한계에 대한 광범위한 결과와 핵심 통찰을 제공한다. 프로젝트 페이지는 https://lavi-lab.github.io/NeMoBench 에서 확인할 수 있다.
긴 녹음에서의 시간적 그라운딩(temporal grounding)은 오디오 조건부 대규모 언어 모델(LLM)에게 여전히 어려운 과제이다. 우리는 최대 120분 분량의 입력에 대해 명시적 타임스탬프와 함께 질문에 답하는 시간 인식 오디오 LLM을 제안한다. 우리의 접근 방식은 캐스케이드 파이프라인을 통한 대규모 합성 지도 학습을 활용하여 주기적 시간 마커를 연속적 오디오 토큰과 교차 삽입한다. 제안 모델은 단기 및 장기 벤치마크에서 강력한 시간적 그라운딩 정확도를 달성하며, 시간 앵커 기반 구간 설명 및 요약을 지원한다. 광범위한 절제 실험(ablation)을 통해 시간 표현 방식, 마커 빈도, 토큰화, 지속 시간 혼합 설계가 정확도와 계산 비용에 미치는 영향을 분석한다. 시간 인식 오디오 이해에 관한 추가 연구를 지원하기 위해 모델 가중치와 데이터셋을 공개하며, https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B 에서 이용 가능하다.
최종 답변 방식의 비디오 QA는 모델이 올바른 숫자를 예측하는지 여부는 확인할 수 있지만, 어떤 인스턴스를 계수했는지, 근거 증거가 언제 등장하는지, 또는 왜 실패했는지는 파악할 수 없다. 우리는 멀티모달 대규모 언어 모델(MLLM)의 장편 비디오 정량적 추론을 세 가지 연결된 능력을 통해 진단한다: 쿼리 관련 인스턴스 열거, 근거 증거의 시간적 그라운딩(temporal grounding), 그리고 증거를 계수로 집계하는 능력. 이 분석을 지원하기 위해, 우리는 EC-Bench를 구축한다. EC-Bench는 30분 이상의 미편집 비디오 152개, 여섯 가지 추론 범주에 걸친 1,699개의 개방형 쿼리, 그리고 인간이 검증한 증거 구간을 포함하는 증거 주석 평가 스위트이다. 우리는 타임스탬프가 부여된 시각적 프레임과 전사본을 활용하여 22개의 오픈소스 및 독점 MLLM을 평가한다. 최고 평균 점수는 열거 F1 29.98%, 계수 정확도 23.74%에 그치는 반면, 인간 성능은 각각 78.57%와 82.97%에 달한다. 우리의 분석은 계수 오류가 단순한 산술 실수인 경우가 드물다는 것을 보여준다: 열거 F1은 계수 정확도와 강하게 연관되어 있으며, 시간적 그라운딩 품질은 낮은 계수 오류와 연관되고, 근거 증거가 더 분산될수록 계수 정확도가 낮아진다. 이러한 발견은 장편 비디오 계수를 단순한 수치 예측이 아닌, 비디오 전반에 걸친 증거 검색, 시간적 그라운딩, 중복 제거, 그리고 집계 문제로 재정의한다.
자연어 쿼리와 비디오 세그먼트 간의 정밀한 시간적 정렬을 위해, 다양한 시간적 세밀도에서 동작 패턴을 포착하는 다중 스케일 시간적 합성곱 인코더와 비단조적 다대다 대응을 유연하게 모델링하는 캡슐 기반 동적 라우팅 메커니즘을 결합한 새로운 프레임워크를 제안한다. ActivityNet Captions에서 [email omitted] 42.9%, 평균 IoU 41.1%를 달성하며 트랜스포머 기반 베이스라인을 능가하는 성능을 보였다.
장시간 다중 카메라 감시 영상에서 특정 인물을 검색·추론하는 문제를 해결하기 위해, 이미지-텍스트 복합 쿼리와 시간적 그라운딩을 지원하는 최초의 벤치마크 ForeSeaQA와 3단계 VideoRAG 시스템 ForeSea를 제안한다. ForeSea는 인물 추적, 멀티모달 임베딩, 비디오 LLM을 결합한 플러그앤플레이 파이프라인으로 기존 RAG 기반 베이스라인 대비 정확도 3.1포인트, 시간적 IoU 10.1포인트 향상을 달성했다.
대규모 비디오 코퍼스에서 초기 검색 실패 시 후속 추론도 실패하는 문제를 해결하기 위해, VideoSearch-R1은 이산 텍스트 공간의 쿼리 재작성 대신 연속 잠재 공간에서 소프트 쿼리 토큰을 생성하는 Soft Query Refinement(SQR)를 도입한 반복적 비디오 검색·추론 에이전트 프레임워크를 제안한다. SQR은 GRPO로 학습되며, VideoSearch-R1은 Video Corpus Moment Retrieval(VCMR) 세 개 벤치마크에서 최첨단 성능을 달성하면서도 명시적 텍스트 수준 쿼리 정제 대비 훨씬 적은 생성 토큰을 요구한다.
다중모달 대규모 언어 모델(MLLM)은 고해상도 이미지에서 작은 객체를 식별하거나 긴 동영상에서 핵심 순간을 탐지하는 것과 같은 세밀한 인식에 어려움을 겪는 경우가 많다. 기존 방법은 일반적으로 복잡하고 태스크별 미세조정에 의존하며, 이는 일반화 가능성을 낮추고 시스템 복잡성을 증가시킨다. 본 연구에서는 MLLM의 내재적 불확실성을 선제적 가이던스로 활용하는 효과적인 학습 없는 프레임워크를 제안한다. 핵심 통찰은 관련 시각 정보가 제공될 때 모델의 불확실성이 감소한다는 것이다. 응답 불확실성으로 후보 시각 입력을 점수화하는 통합 메커니즘을 도입하여, 모델이 가장 정보가 풍부한 데이터에 자율적으로 집중할 수 있게 한다. 이 단순한 원칙을 Visual Search, 장기 동영상 이해(Long Video Understanding), Temporal Grounding 세 가지 도전적인 시각 태스크에 적용하여, 기성(off-the-shelf) MLLM이 특화되고 미세조정된 시스템과 경쟁력 있는 성능을 달성할 수 있게 한다. 결과는 내재적 불확실성을 활용하는 것이 세밀한 다중모달 성능을 향상시키는 강력한 전략임을 보여준다.
수 시간 분량의 오디오에 대한 자연어 질문 응답에는 이벤트 인식과 시간적 그라운딩이 모두 필요하다. 현재의 대규모 오디오-언어 모델은 짧은 클립에서 좋은 성능을 보이지만, 컨텍스트 길이, 질의 시 비용, 그리고 약한 시간적 위치 지정에 제한된다. 우리는 연속 오디오를 개방 어휘 Audio Grounding Model(AGM)을 사용하여 타임스탬프가 붙은 이벤트 기록으로 변환하고, SQL 이벤트 데이터베이스에 저장한 뒤, 의도 인식 검색과 LLM 기반 생성을 통해 질의에 응답하는 구조화된 프레임워크인 LA-RAG(Long Audio-Retrieval Augmented Generation)를 제안한다. LA-RAG는 긴 녹음을 저지연 QA를 위해 사전 인덱싱하는 오프라인 그라운딩 모드와, 더 짧은 개방형 클립에 대해 질의 조건부 그라운딩을 수행하는 추론 시간 그라운딩 모드를 지원한다. 우리는 24시간 분량의 Home-IoT 및 Industrial-IoT 오디오 벤치마크를 구축하고, 실제 오디오 순간 검색 데이터셋인 CASTELLA를 QA 쌍으로 확장한다. 오프라인 그라운딩 모드에서 LA-RAG는 Home-IoT에서 76.88%, Industrial-IoT에서 71.10%의 전체 정확도를 달성하고, 평균 질의 지연 시간은 0.6초 미만이다. 추론 시간 그라운딩 모드에서 최신 LALM은 CASTELLA-QA에서 경쟁력 있는 이벤트 검출 정확도를 달성하지만 시간적 검출 F1은 낮다. 우리는 또한 구조화된 검색 메타데이터로 보강된 LALM이 일관된 시간적 검출 개선을 달성함을 보인다. 기준선 모델 전반에서 F1이 11-17% 향상되고 지연 시간도 개선된다. 이 결과는 명시적 타임스탬프 그라운딩과 구조화된 검색이 배포 지향적 긴 오디오 QA를 위한 생성형 오디오-언어 모델의 실용적 보완재임을 보여준다.
Recent advances in Video Large Language Models (Video-LLMs) have yielded promising performance on video question answering (VideoQA). Nevertheless, existing benchmarks are predominantly evaluated through answer correctness, while the grounding of predictions in relevant video evidence remains largely unexamined. This disconnect between answer generation and evidence understanding motivates the construction of the Evidence-Grounded Video Question Answering Benchmark (EG-VQA), an open-ended evaluation protocol in which each QA pair is explicitly annotated with supporting temporal evidence, thereby requiring joint reasoning and precise evidence localization. EG-VQA is comprised of 2,067 videos and 11,838 QA pairs with fine-grained evidence annotations. To evaluate predicted evidence, Evidence-Grounded F1 (EG-F1) is introduced as a unified metric in which temporal alignment and semantic consistency against ground-truth evidence are jointly measured. Experimental evaluation reveals that even strong proprietary models struggle to accurately ground their predictions, exposing a fundamental discrepancy between answer correctness and faithful evidence localization. To bridge this gap, EG-Reasoner, an evidence-grounded reasoning model trained with explicit supervision, is proposed. State-of-the-art performance is achieved among open-source models, with results competitive against proprietary systems, particularly pronounced gains are observed on reasoning-intensive tasks such as counterfactual questions. These findings demonstrate that scaling alone is insufficient for robust video understanding and that structured evidence supervision is essential for the development of more reliable and interpretable VideoQA systems.
회의 아카이브는 사용자가 무엇이 논의되었는지는 기억하지만 언제 논의되었는지는 기억하지 못할 때 검색하기 어렵다. 우리는 토픽-타임스탬프 정렬을 연구한다: 자연어 토픽과 타임스탬프가 붙은 회의 녹취록이 주어졌을 때, 목표는 해당 토픽이 논의된 시각을 반환하는 것이다. 표준 검색-증강 생성(RAG) 설정은 관련 녹취록 발췌문을 검색할 수 있지만, 여전히 언어 모델에게 타임스탬프를 생성하도록 요구하며, 이는 근거 없거나 유효하지 않은 타임코드를 만들어낼 수 있다. 따라서 우리는 타임스탬프 예측을 제약된 시간적 후보 선택으로 재구성한다: 시스템은 타임스탬프가 붙은 녹취록 청크를 검색하고, 모델은 타임코드를 생성하는 대신 토픽을 가장 잘 그라운딩(grounding)하는 후보를 선택한다. 200개 시의회 회의 녹취록에서 나온 420개의 토픽-타임스탬프 쿼리에 대해, 이 방법은 Mistral-7B-Instruct에서 재현율@5를 31.9%에서 50.0%로 높이고, MAE를 837.0초에서 761.0초로 줄이며, 420개 쿼리 중 파싱 가능한 출력 수를 373개에서 419개로 늘린다. 이 결과는 긴 녹취록에서의 시간적 그라운딩이 언어 모델 선택뿐 아니라 검색 품질과 출력 설계에 크게 의존함을 시사한다.
시간적 그라운딩(영상에 대한 자연어 쿼리에 대해 구간 $[t_s, t_e]$를 반환하는 것)은 긴 영상(long-form video)을 위한 언어 인터페이스이지만, 짧은 영상에서만 연구되어 왔으며 시간 단위 자연어 그라운딩의 역학은 아직 미탐구 상태입니다. 우리는 시간 단위에서 주요 제약 조건은 인식이 아닌 검색이라는 입장을 취합니다. 비디오-LLM(대규모 언어 모델)은 근접한 이벤트의 위치를 파악하는 데서 병목이 발생하는 것이 아니라, 자연어 쿼리가 주어졌을 때 긴 영상 내 관련 영역을 검색하는 과정에서 병목이 발생합니다. 이를 검증하기 위해 우리는 ExtremeWhenBench, 즉 개방형 쿼리 분포를 갖는 최초의 공개 시간 단위 그라운딩 벤치마크(194개 영상에 걸친 2,273개 쿼리, 평균 75.7분, 최대 9시간)를 공개합니다. 모든 공개 비디오-LLM은 성능이 급격히 떨어지는 반면, 프레임 수준 검색 기준선(baseline)은 이보다 우수한 성능을 보였습니다. 실패 유형 분석 결과 실패의 85%가 검색 단계에 기인한 것으로 나타났습니다. 또한 검색 후 그라운딩(retrieve-then-ground) 하이브리드 방식은 단일 구조 비디오-LLM 대비 6.7배의 성능 회복을 보여주었는데, 이는 개방형 도메인 질의응답(QA)에서의 검색 후 읽기(retrieve-then-read) 방식과 유사합니다.