arXiv:2606.24602v1 cs.CV

ViTexQA: A Multi-Frame Temporal Perception Dataset for Video Text Question Answering

Zhentao Guo, Chen Duan, Tongkun Guan, Zining Wang, Kai Zhou, Pengfei Yan

제출 2026-06-23

원문 초록

Despite remarkable progress in multimodal understanding, current MLLMs still exhibit limitations in video text understanding, particularly when semantics emerge through the integration of temporally distributed textual cues across multiple frames. This perception challenge fundamentally differs from static image text understanding, yet existing datasets fail to capture: the vast majority of questions remain answerable from single frames, inadequately reflecting real-world video text comprehension demands. To address this, we present ViTexQA, a large-scale video-text QA dataset, and FrameThinker for robust multi-frame temporal reasoning. We build ViTexQA via a quality-controlled Chain-of-Thought (CoT) annotation pipeline boosted with temporal constraints; all its QA pairs demand cross-frame text fusion to solve, enforcing true temporal reliance. FrameThinker adopts two-stage training for explicit temporal modeling: CoT-Guided Supervised Fine-Tuning (SFT) generates frame-aware reasoning chains, followed by Temporally-grounded Reinforcement Learning (RL) optimized with multi-frame coherence rewards. Evaluations show our method outperforms SOTA baselines on ViTexQA, lifting ROUGE-L by 6.3%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.24602v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27303v1cs.LG공통 태그 Reinforcement Learning, Video Understanding, multimodal

Live Assistant: 실제 라이브 소셜 스트림에서 지원 여부, 시점 및 대상을 학습하기

Live Assistant: Learning Whether, When, and Whom to Assist in Real-World Live Social Streams

라이브 스트리밍은 시청각 콘텐츠, 시청자 활동, 호스트의 행동, 플랫폼 신호가 함께 진화하는 장기적인 상호작용 환경으로, 스트림 자체로부터 지원(assistance)에 대한 요구가 자연스럽게 발생합니다. 본 논문에서는 라이브 스트림 상호작용을 네 가지 결합된 결정, 즉 행동 여부(whether to act), 행동 시점(when to act), 대화 대상(whom to address), 소통 내용(what to communicate)으로 정식화하는 혼합 주도형(mixed-initiative) 및 역할 조건부 지원 프레임워크인 \liveassistant를 소개합니다. 10초 간격마다 하나의 자기회귀(autoregressive) 정책이 동기화된 댓글, 후원 선물, 시청자 역학, 방송방 메타데이터와 함께 원본 오디오 및 비디오를 입력받아 \textsc{OBS}, \textsc{MEM}, 또는 \textsc{ANS}를 선택합니다. \textsc{OBS}는 침묵을 유지하고, \textsc{MEM}은 비공개 의미론적 업데이트를 기록하며, \textsc{ANS}는 수신자, 태스크, 그라운딩된 메시지를 지정합니다. 이 태스크를 지원하기 위해 실제 라이브 스트림 세션을 구조화된 인과적 지도 신호로 재구성하는 궤적 엔진을 구축하여, 320시간 이상의 최적화(optimization) 궤적과 275개 클립 및 13,812개 결정 구간으로 구성된 인간 검토 벤치마크를 생성했습니다. 희소한 구조화 결정을 강화하는 마커 인식 다중 턴 지도 미세조정(MA-MSFT)으로 정책을 학습(training)한 후, 턴 및 궤적 수준의 크레딧으로 자체 생성된 궤적을 최적화하는 스트리밍 다중 턴 GSPO(SM-GSPO)를 적용합니다. 미공개(held-out) 벤치마크에서 \liveassistant는 상태 정확도 71.14%, 수신자 정확도 72.67%, 태스크 정확도 58.41%를 달성하며 대표적인 스트리밍 및 범용 멀티모달 베이스라인 대비 일관된 성능 향상을 보였습니다. 종합적으로 이러한 공식화, 벤치마크, 학습 프레임워크는 라이브 스트림 지원을 공유 소셜 스트림에서의 선택적 참여로 정립합니다.

arXiv:2610.02181v3cs.CV공통 태그 Reinforcement Learning, Video Understanding

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.15810v1cs.CV공통 태그 Reinforcement Learning, Visual Question Answering

적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기

Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning

긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.

arXiv:2609.39883v3cs.CV공통 태그 Reinforcement Learning, Video Understanding

신뢰도를 활용한 그라운딩: 제어 가능한 생성형 비디오 시간적 그라운딩

Grounding with Confidence: Controllable Generative Video Temporal Grounding

비디오 시간적 그라운딩(video temporal grounding)은 자연어로 기술된 이벤트를 찾아냄으로써 비디오 검색, 콘텐츠 검토, 자동 편집과 같은 응용을 지원합니다. 그러나 기존 생성형 모델은 일반적으로 후보 선택을 안내하는 명시적인 구간 단위 신뢰도 점수 없이 타임스탬프를 출력합니다. 본 연구에서는 원래의 디코딩 패스 내에서 개별 구간을 채점함으로써 후보 생성과 수락 과정을 분리합니다. 경량 신뢰도 헤드가 풀링된 디코더 상태를 읽어 구간 선택에 맞춰 학습된 명시적 점수를 제공합니다. 오프라인 검증기(verifier) 점수가 고정된 후보 시퀀스에 대해 이 헤드를 지도하며, 강화학습(reinforcement learning) 중에는 시간적 겹침(temporal-overlap) 레이블을 통해 현재 롤아웃에 적응시킵니다. 생성기는 GT(Ground Truth) 기반의 후보 풀 지도 및 세트 단위 최적화를 통해 학습됩니다. 이렇게 도출된 점수는 추론(inference) 시 외부 검증기를 호출하지 않고도 순위 지정, 임계값 기반 선택, 거절을 지원합니다. 고정된 OMTG-Bench 후보 풀에서, 10%의 글로벌 반환 예산(budget) 시 신뢰도 기반 점수는 생성 순서 방식 대비 쿼리 매크로 [email omitted] 9.95%에서 14.42%로 향상시키며, 25% 예산에서는 26.48%에서 31.12%로 향상시킵니다. 연속적인 점수를 통해 다운스트림 응용은 후보 구간을 다시 생성하지 않고도 각자의 정밀도(precision)-재현율(recall) 선호도에 맞춰 반환 예산이나 수락 임계값을 조정할 수 있습니다.

arXiv:2609.39378v2cs.CV공통 태그 Visual Question Answering, Video Understanding

EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.

arXiv:2610.03099v1cs.CV공통 태그 Question Answering, Video Understanding

단일 비디오를 넘어서: 전자상거래 교차 비디오 추론을 위한 벤치마킹 및 능동적 증거 탐색

Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning

전자상거래 비디오는 정보 밀도가 높으며, 제품을 평가하는 소비자와 마케팅 전략을 평가하는 판매자에 의해 빈번하게 비교됩니다. 그러나 기존의 멀티모달 모델은 주로 단일 비디오 이해에 초점을 맞추고 있어 비디오 전반에 걸친 정보를 비교하는 능력이 제한적입니다. 본 논문에서는 6가지 추론 차원에 걸쳐 2,483개의 비디오와 6,110개의 질문-답변 쌍을 포함하는 최초의 전자상거래 교차 비디오 추론(cross-video reasoning) 벤치마크인 AdsCVR을 소개합니다. 교차 비디오 추론을 수행하려면 모델이 수많은 중복 프레임 사이에서 세밀한 증거를 찾아내고 시각적 세부 사항, 음성, 화면 텍스트를 통합해야 합니다. 이에 따라 저자들은 정적 균일 샘플링을 능동적 증거 수집으로 대체하여 다중 턴 탐험(exploration) 과정에서 시각 및 음향 도구를 동적으로 선택하는 에이전트 프레임워크인 AdSeek을 제안합니다. 강화학습(reinforcement learning, RL)의 희소한 신용 할당(sparse credit assignment) 문제를 해결하기 위해, RL로 생성된 궤적에서 추론 오류와 누락된 멀티모달 증거를 식별하는 오프라인 궤적 교정 메커니즘을 개발했습니다. 교정된 궤적은 RL 과정에서 학습된 편향을 줄이는 지도 미세조정(supervised fine-tuning) 신호를 제공합니다. 이 메커니즘은 초기 RL이 추론 병목을 드러내고, 지도 미세조정이 이를 수정하며, 최종 RL 단계가 정책을 더욱 향상시키는 교정 기반 부트스트래핑 파이프라인을 지원합니다. AdSeek은 AdsCVR 테스트 분할에서 74.30%의 정확도를 달성하여 백본인 Qwen3-VL-8B-Instruct 대비 27.90%p 뛰어난 성능을 보였습니다. 또한 오픈 도메인 CrossVid 벤치마크에도 일반화되어 효과적인 능동적 증거 수집 능력을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.