VideoEvolve: 비디오 시간적 그라운딩을 위한 에이전트 하네스 진화
VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding
비디오 시간적 그라운딩(video temporal grounding)은 자연어 질의로부터 비디오 내의 이벤트를 위치화하는 것을 목표로 합니다. 고정된(frozen) 비디오-언어 모델을 기반으로 구축된 에이전트의 경우, 하네스(harness)는 질의가 시간적 예측을 유도하는 방식과 해당 예측이 정제되는 방식을 결정합니다. 이러한 하네스를 수동으로 개선하려면 그라운딩 실패를 진단하고 에이전트 워크플로우와 인스트럭션 모두에 대한 변경 사항을 조율해야 합니다. 본 논문에서는 비디오 시간적 그라운딩을 위한 에이전트 하네스를 자동으로 진화시키는 프레임워크인 VideoEvolve를 소개합니다. VideoEvolve는 단계별 인터페이스를 보존하면서도 에이전트 워크플로우와 인스트럭션을 진화할 수 있도록 열어두는 클로즈 구조 하네스 표현(Cloze-Structured Harness Representation)을 사용합니다. 분기 유도 하네스 진화(Branch-Guided Harness Evolution)는 실행 피드백을 활용하여 로컬 수정을 안내하고 검증을 통해 어떤 개선 사항을 이어갈지 결정함으로써, 지속적인 개선을 위해 유망한 코드 분기를 보존합니다. 실험을 통해 여러 벤치마크 전반에서 향상된 그라운딩 성능을 입증합니다. 구성 요소 분석에 따르면 인스트럭션 개선이 일관된 성능 향상의 원천인 반면, 진화된 코드의 이점은 평가 설정에 따라 다양하게 나타났습니다. 종합적으로 이러한 결과는 비디오 시간적 그라운딩을 개선하기 위한 효과적인 접근 방식으로 자동화된 하네스 진화를 뒷받침합니다. 코드는 https://github.com/bingjunluo/VideoEvolve 에서 확인할 수 있습니다.