비디오 시간적 그라운딩(video temporal grounding)은 자연어로 기술된 이벤트를 찾아냄으로써 비디오 검색, 콘텐츠 검토, 자동 편집과 같은 응용을 지원합니다. 그러나 기존 생성형 모델은 일반적으로 후보 선택을 안내하는 명시적인 구간 단위 신뢰도 점수 없이 타임스탬프를 출력합니다. 본 연구에서는 원래의 디코딩 패스 내에서 개별 구간을 채점함으로써 후보 생성과 수락 과정을 분리합니다. 경량 신뢰도 헤드가 풀링된 디코더 상태를 읽어 구간 선택에 맞춰 학습된 명시적 점수를 제공합니다. 오프라인 검증기(verifier) 점수가 고정된 후보 시퀀스에 대해 이 헤드를 지도하며, 강화학습(reinforcement learning) 중에는 시간적 겹침(temporal-overlap) 레이블을 통해 현재 롤아웃에 적응시킵니다. 생성기는 GT(Ground Truth) 기반의 후보 풀 지도 및 세트 단위 최적화를 통해 학습됩니다. 이렇게 도출된 점수는 추론(inference) 시 외부 검증기를 호출하지 않고도 순위 지정, 임계값 기반 선택, 거절을 지원합니다. 고정된 OMTG-Bench 후보 풀에서, 10%의 글로벌 반환 예산(budget) 시 신뢰도 기반 점수는 생성 순서 방식 대비 쿼리 매크로 [email omitted] 9.95%에서 14.42%로 향상시키며, 25% 예산에서는 26.48%에서 31.12%로 향상시킵니다. 연속적인 점수를 통해 다운스트림 응용은 후보 구간을 다시 생성하지 않고도 각자의 정밀도(precision)-재현율(recall) 선호도에 맞춰 반환 예산이나 수락 임계값을 조정할 수 있습니다.
비디오 시간적 그라운딩(video temporal grounding)은 자연어 질의로부터 비디오 내의 이벤트를 위치화하는 것을 목표로 합니다. 고정된(frozen) 비디오-언어 모델을 기반으로 구축된 에이전트의 경우, 하네스(harness)는 질의가 시간적 예측을 유도하는 방식과 해당 예측이 정제되는 방식을 결정합니다. 이러한 하네스를 수동으로 개선하려면 그라운딩 실패를 진단하고 에이전트 워크플로우와 인스트럭션 모두에 대한 변경 사항을 조율해야 합니다. 본 논문에서는 비디오 시간적 그라운딩을 위한 에이전트 하네스를 자동으로 진화시키는 프레임워크인 VideoEvolve를 소개합니다. VideoEvolve는 단계별 인터페이스를 보존하면서도 에이전트 워크플로우와 인스트럭션을 진화할 수 있도록 열어두는 클로즈 구조 하네스 표현(Cloze-Structured Harness Representation)을 사용합니다. 분기 유도 하네스 진화(Branch-Guided Harness Evolution)는 실행 피드백을 활용하여 로컬 수정을 안내하고 검증을 통해 어떤 개선 사항을 이어갈지 결정함으로써, 지속적인 개선을 위해 유망한 코드 분기를 보존합니다. 실험을 통해 여러 벤치마크 전반에서 향상된 그라운딩 성능을 입증합니다. 구성 요소 분석에 따르면 인스트럭션 개선이 일관된 성능 향상의 원천인 반면, 진화된 코드의 이점은 평가 설정에 따라 다양하게 나타났습니다. 종합적으로 이러한 결과는 비디오 시간적 그라운딩을 개선하기 위한 효과적인 접근 방식으로 자동화된 하네스 진화를 뒷받침합니다. 코드는 https://github.com/bingjunluo/VideoEvolve 에서 확인할 수 있습니다.
비디오 시간적 그라운딩(VTG)은 자연어 쿼리로 기술된 연속적인 비디오 구간을 국소화하는 것을 목표로 한다. 그러나 현재 VLM 기반 방법들은 일반적으로 이 구간을 두 개의 끝점 출력을 통해 간접적으로 생성하며, 이는 이산적 타임스탬프 토큰이나 연속적 경계 좌표로 표현된다. 이러한 공식화는 끝점이 어떻게 인코딩되는지는 다르지만, 무엇을 예측하는지는 동일하다. 이벤트 구간은 여전히 파생된 객체로 남으며, 구간 유효성, 지속 시간, 구간 수준 유사도는 암묵적으로만 처리된다. 우리는 VTG를 끝점 예측에서 구간 고유(interval-native) 그라운딩으로 재공식화하는 TimePLE을 제안하며, 이는 유효한 시간적 구간에 대한 단일 결합 분포를 예측한다. TimePLE은 각 구간을 정규(canonical) 위치-지속시간(position-duration) 사각형의 한 점에 매핑하며, 여기서 모든 지지점(support point)은 유효한 구간(span)에 대응하고 인접한 점들은 기하학적으로 유사한 구간을 나타낸다. 비디오와 쿼리가 주어지면, VLM은 단일 잠재 <|TIMESPAN|> 토큰을 생성하고, 그 은닉 상태는 결합 구간 분포로 디코딩되며, 지속시간 인식(duration-aware) 좌표 보정을 통해 정제된 후 연속적 경계로 변환된다. 동일한 구간 표현은 입력 시간 앵커(temporal anchors)를 인코딩하는 데 사용되어, 비디오 측 시간적 증거와 출력 측 구간 예측을 정렬한다. 잠재 구간 표현을 완전한 이벤트 구간과 신뢰성 있게 정렬하기 위해, 우리는 9만 건 규모의 그라운딩된 샘플을 큐레이션하고 3천 건 규모의 벤치마크 어노테이션을 사람이 검증한다. 4개의 VTG 벤치마크에 걸친 실험은 TimePLE이 끝점 예측 기준선들을 일관되게 능가하며, 평균 mIoU 58.9를 달성하고, 짧은 지속시간 및 중간 지속시간 이벤트에서 뚜렷한 향상을 보인다.
제로샷 비디오 시간적 그라운딩(VTG)에서 기존 프레임-쿼리 특징 매칭 방식이 시간적 순서와 인과 관계가 필요한 복잡한 쿼리에 취약하다는 추론 격차(reasoning gap) 문제를 해결하기 위해, DART는 쿼리 조건부 행렬식 점 프로세스(DPP)로 다양한 키프레임을 선택하고 스펙트럼 엔트로피를 난이도 지표로 활용해 단순 쿼리는 직접 예측 경로로, 복잡한 쿼리는 Temporal Markup Prompting 기반의 구조화된 추론 경로로 라우팅한다. Charades-STA와 ActivityNet Captions에서 DART는 기존 최강 기준선 대비 mIoU를 최대 3.5포인트 향상시키면서 사용 프레임 수를 7배 이상 줄이며 최첨단 제로샷 성능을 달성했다.
Video Temporal Grounding (VTG) localizes the temporal boundaries of query-relevant moments in long, untrimmed videos, making video-language-model prohibitively expensive. While recent training-free token pruning has shown success in video question answering, naively applying these objectives to VTG causes drastic degradation, as VTG crucially depends on boundary-sensitive evidence and cross-frame reasoning chains. We therefore identify two VTG-specific pruning principles: evidence retention, which keeps query-critical patches especially around event boundaries, and connectivity strength, which preserves cross-frame connectivity for long-range evidence aggregation. Building on these insights, we propose SemVID, a training-free pruning framework that constructs a compact yet coherent token subset with complementary semantic roles. SemVID first allocates per-frame budgets by balancing query relevance and inter-frame variation to avoid over-pruned segments, and then selects three types of tokens: object tokens for diverse query-critical evidence, motion tokens to capture meaningful transitions and serve as cross-frame relays, and context tokens for scene continuity. Extensive experiments show that SemVID achieves a strong accuracy-efficiency trade-off, retaining up to 95.4% mIoU with only 12.5% visual tokens and delivering up to a 5.8x prefill speedup, consistently outperforming prior methods under the same budgets. Our code is available at https://github.com/JiaqiLi404/SemVID