arXiv:2610.01766v1 cs.AI

VideoEvolve: 비디오 시간적 그라운딩을 위한 에이전트 하네스 진화

VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding

Bingjun Luo, Yuhuan Fan, Jialin Guo, Siqi Li

제출 2026-10-01

한국어 초록

비디오 시간적 그라운딩(video temporal grounding)은 자연어 질의로부터 비디오 내의 이벤트를 위치화하는 것을 목표로 합니다. 고정된(frozen) 비디오-언어 모델을 기반으로 구축된 에이전트의 경우, 하네스(harness)는 질의가 시간적 예측을 유도하는 방식과 해당 예측이 정제되는 방식을 결정합니다. 이러한 하네스를 수동으로 개선하려면 그라운딩 실패를 진단하고 에이전트 워크플로우와 인스트럭션 모두에 대한 변경 사항을 조율해야 합니다. 본 논문에서는 비디오 시간적 그라운딩을 위한 에이전트 하네스를 자동으로 진화시키는 프레임워크인 VideoEvolve를 소개합니다. VideoEvolve는 단계별 인터페이스를 보존하면서도 에이전트 워크플로우와 인스트럭션을 진화할 수 있도록 열어두는 클로즈 구조 하네스 표현(Cloze-Structured Harness Representation)을 사용합니다. 분기 유도 하네스 진화(Branch-Guided Harness Evolution)는 실행 피드백을 활용하여 로컬 수정을 안내하고 검증을 통해 어떤 개선 사항을 이어갈지 결정함으로써, 지속적인 개선을 위해 유망한 코드 분기를 보존합니다. 실험을 통해 여러 벤치마크 전반에서 향상된 그라운딩 성능을 입증합니다. 구성 요소 분석에 따르면 인스트럭션 개선이 일관된 성능 향상의 원천인 반면, 진화된 코드의 이점은 평가 설정에 따라 다양하게 나타났습니다. 종합적으로 이러한 결과는 비디오 시간적 그라운딩을 개선하기 위한 효과적인 접근 방식으로 자동화된 하네스 진화를 뒷받침합니다. 코드는 https://github.com/bingjunluo/VideoEvolve 에서 확인할 수 있습니다.

원문 초록

Video temporal grounding aims to localize events in videos from natural-language queries. For agents built around frozen video-language models, the harness determines how queries guide temporal predictions and how those predictions are refined. Manually refining these harnesses requires diagnosing grounding failures and coordinating changes to both agent workflows and instructions. We introduce VideoEvolve, a framework that automatically evolves agent harnesses for video temporal grounding. VideoEvolve uses a Cloze-Structured Harness Representation that preserves stage interfaces while leaving agent workflows and instructions open to evolution. Branch-Guided Harness Evolution preserves promising code branches for continued refinement, using execution feedback to guide local edits and validation to determine which improvements are carried forward. Experiments demonstrate improved grounding performance across multiple benchmarks. Component analyses identify instruction refinement as a consistent source of gains, while the benefits of evolved code vary across evaluation settings. Together, these results support automated harness evolution as an effective approach to improving video temporal grounding. Code is available at https://github.com/bingjunluo/VideoEvolve .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01766v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39883v3cs.CV공통 태그 Video Understanding, video temporal grounding

신뢰도를 활용한 그라운딩: 제어 가능한 생성형 비디오 시간적 그라운딩

Grounding with Confidence: Controllable Generative Video Temporal Grounding

비디오 시간적 그라운딩(video temporal grounding)은 자연어로 기술된 이벤트를 찾아냄으로써 비디오 검색, 콘텐츠 검토, 자동 편집과 같은 응용을 지원합니다. 그러나 기존 생성형 모델은 일반적으로 후보 선택을 안내하는 명시적인 구간 단위 신뢰도 점수 없이 타임스탬프를 출력합니다. 본 연구에서는 원래의 디코딩 패스 내에서 개별 구간을 채점함으로써 후보 생성과 수락 과정을 분리합니다. 경량 신뢰도 헤드가 풀링된 디코더 상태를 읽어 구간 선택에 맞춰 학습된 명시적 점수를 제공합니다. 오프라인 검증기(verifier) 점수가 고정된 후보 시퀀스에 대해 이 헤드를 지도하며, 강화학습(reinforcement learning) 중에는 시간적 겹침(temporal-overlap) 레이블을 통해 현재 롤아웃에 적응시킵니다. 생성기는 GT(Ground Truth) 기반의 후보 풀 지도 및 세트 단위 최적화를 통해 학습됩니다. 이렇게 도출된 점수는 추론(inference) 시 외부 검증기를 호출하지 않고도 순위 지정, 임계값 기반 선택, 거절을 지원합니다. 고정된 OMTG-Bench 후보 풀에서, 10%의 글로벌 반환 예산(budget) 시 신뢰도 기반 점수는 생성 순서 방식 대비 쿼리 매크로 [email omitted] 9.95%에서 14.42%로 향상시키며, 25% 예산에서는 26.48%에서 31.12%로 향상시킵니다. 연속적인 점수를 통해 다운스트림 응용은 후보 구간을 다시 생성하지 않고도 각자의 정밀도(precision)-재현율(recall) 선호도에 맞춰 반환 예산이나 수락 임계값을 조정할 수 있습니다.

arXiv:2607.23951v1cs.CV공통 태그 Video Understanding, video temporal grounding

TimePLE: 비디오 시간적 그라운딩을 위한 시간 표현 재고

TimePLE: Rethinking Temporal Representation for Video Temporal Grounding

비디오 시간적 그라운딩(VTG)은 자연어 쿼리로 기술된 연속적인 비디오 구간을 국소화하는 것을 목표로 한다. 그러나 현재 VLM 기반 방법들은 일반적으로 이 구간을 두 개의 끝점 출력을 통해 간접적으로 생성하며, 이는 이산적 타임스탬프 토큰이나 연속적 경계 좌표로 표현된다. 이러한 공식화는 끝점이 어떻게 인코딩되는지는 다르지만, 무엇을 예측하는지는 동일하다. 이벤트 구간은 여전히 파생된 객체로 남으며, 구간 유효성, 지속 시간, 구간 수준 유사도는 암묵적으로만 처리된다. 우리는 VTG를 끝점 예측에서 구간 고유(interval-native) 그라운딩으로 재공식화하는 TimePLE을 제안하며, 이는 유효한 시간적 구간에 대한 단일 결합 분포를 예측한다. TimePLE은 각 구간을 정규(canonical) 위치-지속시간(position-duration) 사각형의 한 점에 매핑하며, 여기서 모든 지지점(support point)은 유효한 구간(span)에 대응하고 인접한 점들은 기하학적으로 유사한 구간을 나타낸다. 비디오와 쿼리가 주어지면, VLM은 단일 잠재 <|TIMESPAN|> 토큰을 생성하고, 그 은닉 상태는 결합 구간 분포로 디코딩되며, 지속시간 인식(duration-aware) 좌표 보정을 통해 정제된 후 연속적 경계로 변환된다. 동일한 구간 표현은 입력 시간 앵커(temporal anchors)를 인코딩하는 데 사용되어, 비디오 측 시간적 증거와 출력 측 구간 예측을 정렬한다. 잠재 구간 표현을 완전한 이벤트 구간과 신뢰성 있게 정렬하기 위해, 우리는 9만 건 규모의 그라운딩된 샘플을 큐레이션하고 3천 건 규모의 벤치마크 어노테이션을 사람이 검증한다. 4개의 VTG 벤치마크에 걸친 실험은 TimePLE이 끝점 예측 기준선들을 일관되게 능가하며, 평균 mIoU 58.9를 달성하고, 짧은 지속시간 및 중간 지속시간 이벤트에서 뚜렷한 향상을 보인다.

arXiv:2607.13941v2cs.CV공통 태그 Video Understanding

Peak-End-Net: 피크-엔드 규칙(peak-end rule)에서 영감을 받은 일반화 가능한 비디오 미적 평가 프레임워크

Peak-End-Net: A Peak-End Rule Inspired Framework for Generalizable Video Aesthetic Assessment

비디오 미적 평가(VAA)는 비디오가 미적으로 얼마나 만족스러운지 예측하는 것을 목표로 하지만, 다른 시각 평가 작업에 비해 훨씬 덜 탐구되어 왔다. 그 발전은 대규모 벤치마크(benchmark)의 부족뿐 아니라, 인간 지각에 의해 형성되는 미적 판단의 내재적 주관성에 의해서도 저해된다. 본 논문에서는 심리학적 관점에서 VAA를 재검토하고, 사람들이 시간적 경험을 주로 두드러진 순간(salient moments)과 끝(end)에 따라 판단하는 경향이 있다고 제안하는 피크-엔드 규칙에서 영감을 받은 경량이며 해석 가능한 프레임워크인 Peak-End-Net을 제안한다. 이 직관에 기반하여, 먼저 사전학습된 IAA 헤드를 도입하여 프레임별 미적 사전 신호(aesthetic priors)를 생성함으로써 이미지 미적 평가(IAA)에서 VAA로 지식을 전이한다. 이는 미적으로 두드러진 순간을 식별하고 피크-엔드 규칙 기반 시간적 집계(temporal aggregation)를 안내하는 대리 신호(surrogate signals) 역할을 한다. 또한 비디오가 시간에 따라 미적으로 어떻게 변화하는지 더 포착하기 위해, 고립된 순간을 넘어 시간적 진행(temporal progression)을 모델링하는 미적 리듬 인코더(aesthetic rhythm encoder)를 설계한다. 또한 분포 이동(distribution shift) 하에서의 견고성(robustness)을 향상시키기 위해 동적 게이트 융합(dynamic gated fusion) 메커니즘을 통해 전체 평가를 정제한다. 우리 방법은 고정된 비전 트랜스포머(ViT) 위에 구축되며, 학습 가능한 매개변수가 소량만 필요하여 확장 가능하고 매개변수 효율적(parameter-efficient)이다. VADB에서의 도메인 내(in-domain) 평가와 DIVIDE-3K에서의 교차 도메인(cross-domain) 테스트를 포함한 두 기존 VAA 벤치마크에 대한 광범위한 실험은, 우리 접근법이 최신(state-of-the-art) 성능을 달성함을 보여주며, VAA를 위한 심리학적 기반(psychologically grounded) 모델링의 가치를 확인한다. 코드와 모델은 https://github.com/AMAP-ML/Peak-End-Net 에서 이용할 수 있다.

arXiv:2607.13298v2cs.CV공통 태그 Video Understanding

FOLIO: 스트리밍 비디오 이해를 위한 집중 의미 기억

FOLIO: Focused Semantic Memory for Streaming Video Understanding

온라인 스트리밍 비디오 이해에서는 비디오 스트림이 계속 도착하고 질의가 언제든지 발생할 수 있다. 스트리밍 프레임이 무한히 증가하기 때문에, 시스템은 미래 프레임과 미래 질의가 알려지지 않은 상태에서 관측된 비디오 접두 문맥의 정보를 지속적으로 압축하고 보존해야 한다. 핵심 과제는 어떤 정보를 보존하고 유지된 이력을 어떻게 구성할지 결정하는 것이다. 스트림에 따라 이력이 커질수록 메모리 비용이 증가하고 많은 중복 시각적 세부 사항이 보존되는 반면, 이후 질의는 종종 특정 개체, 행동 및 그들의 시간적 변화에 의존한다. 이 과제를 해결하기 위해, 우리는 스트림의 중요한 부분을 더 높은 상세도로 기록하면서 주변 컨텍스트는 압축적으로 유지하는 학습 불필요 집중 의미 기억 시스템인 FOLIO를 제안한다. 스트림이 도착함에 따라 FOLIO는 동적 초점 상태에 의해 안내되어 세그먼트 수준에서 메모리를 갱신하며, 단기 시각 버퍼와 관측된 개체를 중심으로 구성되고 시각적 증거 캐시에 연결된 장기 의미 기억을 결합한다. 질의 시점에는 경량 하이브리드 검색이 구조화된 메모리에 대한 직접 매칭과 의미적 질의 확장을 결합한다. FOLIO는 최첨단 성능을 달성하며, Qwen3-VL-8B로 OVO-Bench에서 인식/역방향 정확도 82.0/69.1을 기록하고 StreamingBench에서 전체 정확도 74.5를 달성하는 동시에, 초점 개체에 대해서만 상세 기록을 예약하고 주변 컨텍스트를 압축적으로 저장함으로써 스트리밍 메모리 유지 비용을 크게 줄인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.