VIVID: 에이전트형 동영상 편집을 위한 시각 작업 환경
VIVID: A Visual Harness for Agentic Video Editing
한국어 초록
동영상을 편집하는 에이전트는 시청각 관측과 정확한 시간 위치에 근거해 편집을 결정하고, 렌더링한 출력에서 효과를 평가해야 한다. 범용 코딩 에이전트는 이해, 추론, 코드 실행 능력이 뛰어나다. 동영상 과제에 맞춘 미디어 상호작용과 근거 관리 기능을 갖추면 편집 성능을 더 끌어낼 수 있다. 본 연구는 추가 모델 학습 없이 기존 코딩 에이전트 여러 개가 동영상 후반 제작을 할 수 있도록 지원하는 시각 작업 환경 VIVID를 제안한다. 필요할 때 영상을 검사하고 오디오를 분석·전사하는 도구를 제공하며, 관측값을 해당하는 미디어 버전 및 시간 좌표와 함께 보관한다. 에이전트는 추론 중 이 관측값을 찾아보고, 자체 코딩 및 셸 도구로 편집하고, 렌더링 결과를 보고 다음 수정을 결정할 수 있다. 조립, 복구, 순서 구성, 용도 변경에 걸친 100개 과제의 AgenticVBench에서 VIVID를 적용한 Codex의 평균 점수는 58.6%였다. 기본 Codex보다 20.2%포인트 높았다. 같은 환경을 Claude Code와 OpenCode에 통합했을 때 평균 점수는 각각 55.1%와 37.1%였고, 두 경우 모두 각자의 기본 성능을 크게 앞섰다. 범용 코딩 에이전트의 동영상 편집 능력을 확장하는 재사용 가능한 작업 환경으로 VIVID를 활용할 가능성을 보여 준다.
원문 초록
Video editing requires agents to make editing decisions grounded in audiovisual observations and precise temporal localization, and to evaluate their effects in rendered outputs. General-purpose coding agents possess strong comprehension, reasoning, and code execution capabilities, while media interaction and evidence management mechanisms tailored to video tasks can further unlock their editing potential. We introduce VIVID, a visual harness that supports multiple native coding agents in video post-production without additional model training. VIVID provides tools for on-demand video inspection, audio analysis, and transcription, and preserves observations alongside their corresponding media versions and temporal coordinates. Agents can actively retrieve these observations as they reason, perform edits using their native coding and shell tools, and inspect rendered outputs to guide subsequent revisions. On AgenticVBench, comprising 100 tasks across Assembly, Repair, Sequencing, and Repurpose, Codex with VIVID achieves an average score of 58.6%, an improvement of 20.2 percentage points over native Codex. The same harness also integrates with Claude Code and OpenCode, achieving average scores of 55.1% and 37.1%, respectively, both substantially exceeding their native baselines. These results highlight VIVID's potential as a reusable visual harness for extending the capabilities of general-purpose coding agents to video editing.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.