PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39883v3cs.CV

신뢰도를 활용한 그라운딩: 제어 가능한 생성형 비디오 시간적 그라운딩

Grounding with Confidence: Controllable Generative Video Temporal Grounding

비디오 시간적 그라운딩(video temporal grounding)은 자연어로 기술된 이벤트를 찾아냄으로써 비디오 검색, 콘텐츠 검토, 자동 편집과 같은 응용을 지원합니다. 그러나 기존 생성형 모델은 일반적으로 후보 선택을 안내하는 명시적인 구간 단위 신뢰도 점수 없이 타임스탬프를 출력합니다. 본 연구에서는 원래의 디코딩 패스 내에서 개별 구간을 채점함으로써 후보 생성과 수락 과정을 분리합니다. 경량 신뢰도 헤드가 풀링된 디코더 상태를 읽어 구간 선택에 맞춰 학습된 명시적 점수를 제공합니다. 오프라인 검증기(verifier) 점수가 고정된 후보 시퀀스에 대해 이 헤드를 지도하며, 강화학습(reinforcement learning) 중에는 시간적 겹침(temporal-overlap) 레이블을 통해 현재 롤아웃에 적응시킵니다. 생성기는 GT(Ground Truth) 기반의 후보 풀 지도 및 세트 단위 최적화를 통해 학습됩니다. 이렇게 도출된 점수는 추론(inference) 시 외부 검증기를 호출하지 않고도 순위 지정, 임계값 기반 선택, 거절을 지원합니다. 고정된 OMTG-Bench 후보 풀에서, 10%의 글로벌 반환 예산(budget) 시 신뢰도 기반 점수는 생성 순서 방식 대비 쿼리 매크로 [email omitted] 9.95%에서 14.42%로 향상시키며, 25% 예산에서는 26.48%에서 31.12%로 향상시킵니다. 연속적인 점수를 통해 다운스트림 응용은 후보 구간을 다시 생성하지 않고도 각자의 정밀도(precision)-재현율(recall) 선호도에 맞춰 반환 예산이나 수락 임계값을 조정할 수 있습니다.