VideoWeaver: 에이전트형 장시간 비디오 생성을 위한 스킬 평가와 진화
VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation
에이전트형 장시간 비디오 생성은 긴 지평에 걸친 계획 수립, 도구 오케스트레이션, 클립 간 조율을 필요로 한다. 기존 비디오 에이전트 대부분은 상당한 수작업이 필요하고 과제 간 적응이 떨어지는 정적·수동 설계 워크플로에 의존하거나, 현재 과제의 출력을 반복적으로 개선하면서도 실행 경험을 이후 과제에 재사용 가능한 스킬로 지속적으로 증류하지 않는다. 우리는 장시간 비디오 생성을 위한 스킬을 평가하고 진화시키는 에이전트 하네스이자 벤치마크인 VideoWeaver를 소개한다. 단일 고수준 지시가 주어지면, 에이전트는 미리 정의된 파이프라인을 따르기보다 기초 스킬을 동적으로 조합하여 자체 워크플로를 구성한다. 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 아우르는 참조와 함께 16개 과제 범주와 285개 사례로 구성된 벤치마크를 구축한다. 나아가 실행 추적과 최종 비디오를 모두 검사하여 과정 및 출력 실패를 진단하는 증거에 그라운딩된 agent-as-judge를 제안한다. 이 피드백을 바탕으로 우리의 진화 알고리즘은 범주 수준의 조합 스킬과 생성자 스킬을 점진적으로 정제하여, 반복되는 경험이 미지의 사례에 대해 동적으로 구성된 워크플로를 안내하도록 한다. 실험 결과, 명시적 조합 스킬은 기초 스킬만 사용하는 경우보다 생성 과정을 개선하며, 스킬 진화는 출력 품질을 더욱 향상시키고 미지의 사례로 일반화된다. 판정자 피드백을 반영하면 특히 출력 지표에서 추가 향상이 있으며, agent-as-judge는 특히 과정 지표에서 인간과 잘 일치한다. 코드는 https://github.com/JianhuiWei7/VideoWeaver 에서 이용할 수 있다.