arXiv:2608.25622v1 cs.CV

검증 가능한 계획: 실행 가능한 영상 편집을 위한 오픈 가중치 플래너의 검증기 그라운딩 학습

Plans You Can Check: Verifier-Grounded Learning of an Open-Weight Planner for Executable Video-Editing

Haoyu Wang, Cheng Feng, Liuyang Bian, Ruiyang Huang, Lei Wei, Yafei Wen, Xiaoxin Chen, Xiaoying Tang

제출 2026-08-26

한국어 초록

실용적인 영상 편집은 픽셀 생성만이 아니다. 편집자는 브리프, 클립 풀, 음악 메타데이터, 하드 제약을 실행 가능한 타임라인으로 바꿔야 한다. 우리는 이 의사결정 층을 executable video-editing planning으로 연구하고 RefineCut을 제안한다. RefineCut은 프롬프트 기반 frontier 모델을 감싸는 워크플로 시스템과 달리, 이를 위해 소형 오픈 가중치 플래너를 학습한다. 플래너는 클립 선택, 트리밍, 순서, 전환, 재생 시간 및 음악 정렬을 포괯하는 구조화된 패치를 통해 타입이 지정된 타임라인을 편집한다. 결정론적 verifier는 각 패치를 적용하고 명시적 제약 원장(constraint ledger)에 대해 검증한다. 편집에는 단일 ground-truth 수리가 없기 때문에 교사를 직접 모방하지 않는다. RefineCut은 모든 multi-teacher 분기를 verifier를 통해 재생하고 verifier 기준 최적 수리를 지도 신호로 유지한다. 2단계 RefineCut-Evo는 학생 모델이 verifier와 태스크 rubric으로 자신의 수리를 채점하게 하고 높은 마진의 preference pair로 학습하므로, 최종 8B 플래너는 추론 시 교사 호출 없이 닫힌 verifier 루프에서 동작한다. RefineCut-Bench(3,578개 태스크, 7,971개 캡션이 달린 클립, 499개 음악 트랙, 명시적 원장)에서 verifier 재생 지식 증류(distillation)는 프로토콜별 Video-Editing Score에서 플래너를 0.620에서 0.858로 끌어올리고 RefineCut-Evo는 0.924에 도달한다. 이 향상은 Llama-3.1-8B와 GLM-4-9B로 전이되며, 동일한 닫힌 루프에서 8B 플래너는 frontier 교사와 동등하거나 이를 넘는다. 코드와 RefineCut-Bench는 공개되었다. Data Availability statement를 참조하라.

원문 초록

Practical video editing is not only pixel generation: an editor must turn a brief, a clip pool, music metadata, and hard constraints into an executable timeline. We study this decision layer as \emph{executable video-editing planning} and introduce RefineCut, which, unlike workflow systems that wrap a prompted frontier model, trains a compact open-weight planner for it. The planner edits a typed timeline through structured patches covering clip selection, trimming, ordering, transitions, and duration and music alignment; a deterministic verifier applies each patch and checks it against an explicit constraint ledger. Because editing has no single ground-truth repair, we do not imitate teachers directly: RefineCut replays every multi-teacher branch through the verifier and keeps verifier-best repairs as supervision. A second stage, RefineCut-Evo, lets the student score its own repairs with the verifier and a task rubric and trains on high-margin preference pairs, so the final $8$B planner runs in a closed verifier loop with no teacher calls at inference. On RefineCut-Bench ($3{,}578$ tasks, $7{,}971$ captioned clips, $499$ music tracks, explicit ledgers), verifier-replayed distillation lifts the planner from $0.620$ to $0.858$ on the protocol-specific Video-Editing Score and RefineCut-Evo reaches $0.924$; the gain transfers to Llama-3.1-8B and GLM-4-9B, and in the same closed loop the $8$B planner matches or exceeds its frontier teachers. Code and RefineCut-Bench are publicly released; see the Data Availability statement.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25622v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.