TAR: 비디오 시간적 grounding을 위한 시간 앵커 제약 추론
TAR: Temporal Anchor-Constrained Reasoning for Video Temporal Grounding
한국어 초록
비디오 시간적 grounding(Video Temporal Grounding, VTG)은 자연어 질의에 해당하는 특정 비디오 구간을 찾아내는 것을 목표로 한다. 최근의 대규모 시각-언어 모델(LVLM)은 강화학습을 사용하여 사고의 연쇄(CoT)를 생성하지만, 일반적으로 결과 기반 지도에만 의존한다. 그 결과 추론 과정이 시각적 내용 및 최종 예측과 분리되는 환각이 자주 발생한다. 더 큰 모델이나 별도의 보상 모델의 외부 지도에 의존하여 이를 완화하려는 기존 시도는 계산 비용이 크고 경직된 패턴에 빠지기 쉽다. 이러한 문제를 해결하기 위해 본 논문은 투명하고 감사 가능한 체크포인트 메커니즘으로서 시간 앵커(T-anchor)를 도입하는 프레임워크인 TAR(Temporal Anchor-Constrained Reasoning)를 제안한다. T-anchor는 CoT 내에서 점진적 정교화를 강제하여, 모델이 중간 사고를 시각적 증거에 지속적으로 근거하게 하고 시간적 예측을 반복적으로 보정하도록 함으로써, 추론 과정의 충실성과 자율성 및 최종 정확도를 크게 향상시킨다. 더 나아가 표준 7B 모델만으로 고품질 CoT 데이터를 자동으로 수집하는 부트스트래핑 패러다임을 도입하여 초대형 모델에 대한 의존을 없앴다. 폭넓은 실험을 통해 TAR가 최첨단 성능을 달성하며 충실하고 자율적이며 점진적으로 정교화되는 추론 흔적을 생성함을 입증한다.
원문 초록
Video Temporal Grounding (VTG) aims to localize specific video segments corresponding to natural language queries. While recent Large Vision-Language Models (LVLMs) employ Reinforcement Learning to generate Chains-of-Thought (CoT), they typically rely solely on outcome-based supervision. Consequently, this often leads to hallucinations, where the reasoning process becomes disconnected from the visual content and the final prediction. Existing attempts to mitigate this by relying on external supervision from larger models or separate reward models are computationally expensive and prone to rigid patterns. To address these challenges, we propose TAR (Temporal Anchor-Constrained Reasoning), a framework that introduces the temporal anchor (T-anchor) as a transparent and auditable checkpoint mechanism. T-anchor enforces progressive refinement within the CoT, compelling the model to continuously ground its intermediate thoughts in visual evidence and iteratively calibrate temporal predictions, thereby significantly enhancing the faithfulness and autonomy of the reasoning process and final accuracy. Furthermore, we introduce a bootstrapping paradigm that automatically harvests high-quality CoT data using only a standard 7B model, eliminating the dependency on ultra-large models. Extensive experiments demonstrate that TAR achieves state-of-the-art performance and generates faithful, autonomous, and progressively refined reasoning traces.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2508.07683v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.