arXiv:2609.39883v3 cs.CV

신뢰도를 활용한 그라운딩: 제어 가능한 생성형 비디오 시간적 그라운딩

Grounding with Confidence: Controllable Generative Video Temporal Grounding

Jinhao Chen, Benlei Cui, Ruijian Jia, Ziheng Wang, Tianyu Wo, Pengfei Sun, Longtao Huang, Hui Xue, Yitong Yang, Haiwen Hong

제출 2026-09-30

저자 비고

arXiv Comments

22 pages, 7 figures; includes appendix

한국어 초록

비디오 시간적 그라운딩(video temporal grounding)은 자연어로 기술된 이벤트를 찾아냄으로써 비디오 검색, 콘텐츠 검토, 자동 편집과 같은 응용을 지원합니다. 그러나 기존 생성형 모델은 일반적으로 후보 선택을 안내하는 명시적인 구간 단위 신뢰도 점수 없이 타임스탬프를 출력합니다. 본 연구에서는 원래의 디코딩 패스 내에서 개별 구간을 채점함으로써 후보 생성과 수락 과정을 분리합니다. 경량 신뢰도 헤드가 풀링된 디코더 상태를 읽어 구간 선택에 맞춰 학습된 명시적 점수를 제공합니다. 오프라인 검증기(verifier) 점수가 고정된 후보 시퀀스에 대해 이 헤드를 지도하며, 강화학습(reinforcement learning) 중에는 시간적 겹침(temporal-overlap) 레이블을 통해 현재 롤아웃에 적응시킵니다. 생성기는 GT(Ground Truth) 기반의 후보 풀 지도 및 세트 단위 최적화를 통해 학습됩니다. 이렇게 도출된 점수는 추론(inference) 시 외부 검증기를 호출하지 않고도 순위 지정, 임계값 기반 선택, 거절을 지원합니다. 고정된 OMTG-Bench 후보 풀에서, 10%의 글로벌 반환 예산(budget) 시 신뢰도 기반 점수는 생성 순서 방식 대비 쿼리 매크로 [email omitted] 9.95%에서 14.42%로 향상시키며, 25% 예산에서는 26.48%에서 31.12%로 향상시킵니다. 연속적인 점수를 통해 다운스트림 응용은 후보 구간을 다시 생성하지 않고도 각자의 정밀도(precision)-재현율(recall) 선호도에 맞춰 반환 예산이나 수락 임계값을 조정할 수 있습니다.

원문 초록

Video temporal grounding supports applications such as video search, content review, and automated editing by localizing events described in natural language. Yet existing generative models typically output timestamps without explicit interval-level confidence scores to guide candidate selection. We separate candidate generation from acceptance by scoring individual intervals within the original decoding pass. A lightweight confidence head reads pooled decoder states, providing an explicit score trained for interval selection. Offline verifier scores supervise the head on fixed candidate sequences, and temporal-overlap labels adapt it to current rollouts during reinforcement learning. GT-anchored candidate-pool supervision and set-level optimization train the generator. The resulting scores support ranking, threshold-based selection, and rejection without invoking an external verifier at inference. On a fixed OMTG-Bench candidate pool, confidence raises query-macro [email omitted] from 9.95% to 14.42% over generation order at a 10% global return budget, and from 26.48% to 31.12% at a 25% budget. The continuous scores let downstream applications adjust return budgets or acceptance thresholds to match their precision-recall preferences, without regenerating candidate intervals.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.39883v3
  2. arXiv:2609.39883v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02181v3cs.CV공통 태그 Reinforcement Learning, Video Understanding

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.01278v1cs.AI공통 태그 Reinforcement Learning, Uncertainty Quantification

SCOPE-AD: 진단 에이전트를 위한 에너지 기반 모델 기반 순차적 비용 인지 순서-신념 계획

SCOPE-AD: Sequential cost-aware ordinal-belief planning with energy-based models for diagnostic agents

알츠하이머병(AD) 진단은 서로 다른 검사 비용과 환자 부담 속에서 순차적인 증거 수집을 필요로 합니다. 고정된 양식(fixed-modality)을 사용하는 예측 모델은 어떤 검사를 수집해야 할지, 혹은 언제 확보된 증거가 진단에 충분한지를 함께 결정하지 못합니다. 본 논문에서는 인지 정상(CN), 경도 인지 장애(MCI), 알츠하이머병 사례의 비용 인지 분류를 위한 SCOPE-AD(Sequential Cost-Aware Ordinal-Belief Planning with Energy-Based Models for Diagnostic Agents)를 제안합니다. 마스크 인지 순서 모델은 순서화된 CN-MCI-AD 연속선 상의 불확실성을 표현합니다. 후향적 학습 기록은 에너지 기반 티처를 위한 표본화된 벨만 목표를 제공하며, 이 티처의 행동 분포는 Qwen 정책으로 증류됩니다. 실제 배포 환경에서 에이전트는 미수집된 값에 접근하지 않고 가용성 및 예산 제약 조건 하에서 수집 또는 진단 행동을 선택합니다. 각 수집 단계 후에는 다음 결정을 내리기 전에 증거와 순서-신념이 업데이트됩니다. ADNI 데이터셋에서 SCOPE-AD는 평균 수집 비용 $50.46로 77.70%의 Macro-F1을 달성하여, 평가된 가장 강력한 기준선보다 9.34%포인트 높은 성능을 기록했습니다. 모든 양식을 활용한 평가는 수집 비용을 116.7배 증가시키면서도 Macro-F1은 단 1.89%포인트 올리는 데 그쳤습니다. 이러한 결과는 비용 효율적인 진단을 위한 선택적 수집 전략을 뒷받침합니다.

arXiv:2610.01766v1cs.AI공통 태그 Video Understanding, video temporal grounding

VideoEvolve: 비디오 시간적 그라운딩을 위한 에이전트 하네스 진화

VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding

비디오 시간적 그라운딩(video temporal grounding)은 자연어 질의로부터 비디오 내의 이벤트를 위치화하는 것을 목표로 합니다. 고정된(frozen) 비디오-언어 모델을 기반으로 구축된 에이전트의 경우, 하네스(harness)는 질의가 시간적 예측을 유도하는 방식과 해당 예측이 정제되는 방식을 결정합니다. 이러한 하네스를 수동으로 개선하려면 그라운딩 실패를 진단하고 에이전트 워크플로우와 인스트럭션 모두에 대한 변경 사항을 조율해야 합니다. 본 논문에서는 비디오 시간적 그라운딩을 위한 에이전트 하네스를 자동으로 진화시키는 프레임워크인 VideoEvolve를 소개합니다. VideoEvolve는 단계별 인터페이스를 보존하면서도 에이전트 워크플로우와 인스트럭션을 진화할 수 있도록 열어두는 클로즈 구조 하네스 표현(Cloze-Structured Harness Representation)을 사용합니다. 분기 유도 하네스 진화(Branch-Guided Harness Evolution)는 실행 피드백을 활용하여 로컬 수정을 안내하고 검증을 통해 어떤 개선 사항을 이어갈지 결정함으로써, 지속적인 개선을 위해 유망한 코드 분기를 보존합니다. 실험을 통해 여러 벤치마크 전반에서 향상된 그라운딩 성능을 입증합니다. 구성 요소 분석에 따르면 인스트럭션 개선이 일관된 성능 향상의 원천인 반면, 진화된 코드의 이점은 평가 설정에 따라 다양하게 나타났습니다. 종합적으로 이러한 결과는 비디오 시간적 그라운딩을 개선하기 위한 효과적인 접근 방식으로 자동화된 하네스 진화를 뒷받침합니다. 코드는 https://github.com/bingjunluo/VideoEvolve 에서 확인할 수 있습니다.

arXiv:2609.27244v1cs.LG공통 태그 Reinforcement Learning, Uncertainty Quantification

온라인 적응을 위한 베이지안 신경망의 전체 공분산 스무딩

Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation

신경망의 층은 상태 공간 모델의 시간 단계로 취급할 수 있으며, 이는 베이지안 학습을 스무딩 문제로 바꾼다. 순전파는 네트워크를 통해 가우시안 모멘트를 전파하고, 역방향 Rauch–Tung–Striebel 패스는 가중치 사후분포를 닫힌 형으로 갱신한다. 이러한 방법은 불확실성을 고려하여 각 관측치로부터 단일 패스로 학습하며, 그래디언트 기반 반복이나 replay 없이 수행되므로 온라인 적응과 데이터 효율적 학습에 잘 맞는다. 그러나 기존 스무딩 기반 방법은 활성화에 걸친 공분산이 대각에만 제한되어 뉴런 간 상관을 버린다. 우리는 네트워크의 비선형 활성화를 통한 전체 공분산 전파를 가능하게 하는 교차 공분산 항등식으로 이 한계를 극복한다. 각 층의 아핀 출력만 가우시안으로 근사하는 층당 한 단계 스무더를 유도하며, 이는 잡음이 있는 관측을 갖는 결정론적 시스템과 출력 통계로 기술되는 확률적 시스템 모두에 적용된다. 비정상 분류, 온라인 역학 학습, 비전-언어-행동 모델의 정책 적응에서 이 방법을 시연하였고, 다른 스무딩 기반 방법보다 일반적으로 더 정확함을 확인하였다.

arXiv:2609.27303v1cs.LG공통 태그 Reinforcement Learning, Video Understanding

Live Assistant: 실제 라이브 소셜 스트림에서 지원 여부, 시점 및 대상을 학습하기

Live Assistant: Learning Whether, When, and Whom to Assist in Real-World Live Social Streams

라이브 스트리밍은 시청각 콘텐츠, 시청자 활동, 호스트의 행동, 플랫폼 신호가 함께 진화하는 장기적인 상호작용 환경으로, 스트림 자체로부터 지원(assistance)에 대한 요구가 자연스럽게 발생합니다. 본 논문에서는 라이브 스트림 상호작용을 네 가지 결합된 결정, 즉 행동 여부(whether to act), 행동 시점(when to act), 대화 대상(whom to address), 소통 내용(what to communicate)으로 정식화하는 혼합 주도형(mixed-initiative) 및 역할 조건부 지원 프레임워크인 \liveassistant를 소개합니다. 10초 간격마다 하나의 자기회귀(autoregressive) 정책이 동기화된 댓글, 후원 선물, 시청자 역학, 방송방 메타데이터와 함께 원본 오디오 및 비디오를 입력받아 \textsc{OBS}, \textsc{MEM}, 또는 \textsc{ANS}를 선택합니다. \textsc{OBS}는 침묵을 유지하고, \textsc{MEM}은 비공개 의미론적 업데이트를 기록하며, \textsc{ANS}는 수신자, 태스크, 그라운딩된 메시지를 지정합니다. 이 태스크를 지원하기 위해 실제 라이브 스트림 세션을 구조화된 인과적 지도 신호로 재구성하는 궤적 엔진을 구축하여, 320시간 이상의 최적화(optimization) 궤적과 275개 클립 및 13,812개 결정 구간으로 구성된 인간 검토 벤치마크를 생성했습니다. 희소한 구조화 결정을 강화하는 마커 인식 다중 턴 지도 미세조정(MA-MSFT)으로 정책을 학습(training)한 후, 턴 및 궤적 수준의 크레딧으로 자체 생성된 궤적을 최적화하는 스트리밍 다중 턴 GSPO(SM-GSPO)를 적용합니다. 미공개(held-out) 벤치마크에서 \liveassistant는 상태 정확도 71.14%, 수신자 정확도 72.67%, 태스크 정확도 58.41%를 달성하며 대표적인 스트리밍 및 범용 멀티모달 베이스라인 대비 일관된 성능 향상을 보였습니다. 종합적으로 이러한 공식화, 벤치마크, 학습 프레임워크는 라이브 스트림 지원을 공유 소셜 스트림에서의 선택적 참여로 정립합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.