추론에 앞선 지각: 비디오 이해 및 질의응답을 위한 동적 잠재 추론
Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering
한국어 초록
비디오 질의응답(Video QA)은 모델이 언어 질의를 시각적 근거에 그라운딩(grounding)하고, 필요한 경우 시간에 걸쳐 해당 근거를 바탕으로 추론할 것을 요구합니다. 많은 질문이 관련 객체, 행동 또는 프레임이 특정되는 즉시 답할 수 있음에도 불구하고, 기존 방법들은 대개 긴 텍스트 형태의 사고의 연쇄(Chain-of-Thought) 논거에 의존합니다. 본 논문에서는 먼저 질문을 질의 관련 시각적 근거를 인코딩하는 짧은 지각 잠재 블록(perception latents, 연속적인 은닉 상태)에 그라운딩한 다음, 답변 전에 잠재 공간에서 이 근거를 추론하는 추론 잠재 블록(reasoning latents, 연속적인 사고)을 덧붙일지 여부를 적응적으로 결정하는 동적 잠재 추론(Dynamic Latent Reasoning, DyLaR)을 제안합니다. DyLaR은 검증된 시각적 근거에 지각 잠재 변수를 그라운딩하고 검증된 논거를 추론 잠재 변수로 증류한 뒤, 추론 시점을 더욱 정교화하는 강화학습(RL)을 통해 이러한 동작을 학습합니다. 9개의 비디오 벤치마크와 4개의 멀티모달 언어 모델 백본 전반에서, DyLaR은 질의당 20개 미만의 토큰을 생성하면서도 동일 백본 기준선 대비 평균 정확도를 향상시킵니다. 예를 들어 Qwen3-VL-4B에서 DyLaR은 질의당 응답 길이를 1,220.7토큰에서 18.5토큰으로 줄이면서도 Qwen3-VL-4B-Thinking 대비 평균 정확도를 54.0에서 58.2로 높였습니다. 소거 연구를 통해 그라운딩된 지각 잠재 변수, 논거 지도 추론 잠재 변수, 적응형 라우팅이 각각 정확도 향상에 기여함을 추가로 입증합니다.
원문 초록
Video question answering requires models to ground language queries in visual evidence and, when necessary, reason over that evidence across time. Existing methods typically rely on long textual chain-of-thought rationales, even though many questions can be answered as soon as the relevant object, action, or frame is localized. We propose Dynamic Latent Reasoning (DyLaR), which first grounds a question in a short block of perception latents (continuous hidden states that encode query-relevant visual evidence), and then adaptively decides whether to append reasoning latents (continuous thoughts that reason over this evidence in latent space) before answering. DyLaR learns this behavior by grounding perception latents in verified visual evidence and distilling verified rationales into reasoning latents, followed by reinforcement learning that further refines when to reason. Across nine video benchmarks and four multimodal language model backbones, DyLaR improves average accuracy over same-backbone baselines while generating fewer than 20 tokens per query. On Qwen3-VL-4B, for example, DyLaR improves average accuracy over Qwen3-VL-4B-Thinking from 54.0 to 58.2 while reducing response length from 1,220.7 to 18.5 tokens per query. Ablations further show that grounded perception latents, rationale-supervised reasoning latents, and adaptive routing each improve accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.04124v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.