VideoWeaver: 에이전트형 장시간 비디오 생성을 위한 스킬 평가와 진화
VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation
한국어 초록
에이전트형 장시간 비디오 생성은 긴 지평에 걸친 계획 수립, 도구 오케스트레이션, 클립 간 조율을 필요로 한다. 기존 비디오 에이전트 대부분은 상당한 수작업이 필요하고 과제 간 적응이 떨어지는 정적·수동 설계 워크플로에 의존하거나, 현재 과제의 출력을 반복적으로 개선하면서도 실행 경험을 이후 과제에 재사용 가능한 스킬로 지속적으로 증류하지 않는다. 우리는 장시간 비디오 생성을 위한 스킬을 평가하고 진화시키는 에이전트 하네스이자 벤치마크인 VideoWeaver를 소개한다. 단일 고수준 지시가 주어지면, 에이전트는 미리 정의된 파이프라인을 따르기보다 기초 스킬을 동적으로 조합하여 자체 워크플로를 구성한다. 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 아우르는 참조와 함께 16개 과제 범주와 285개 사례로 구성된 벤치마크를 구축한다. 나아가 실행 추적과 최종 비디오를 모두 검사하여 과정 및 출력 실패를 진단하는 증거에 그라운딩된 agent-as-judge를 제안한다. 이 피드백을 바탕으로 우리의 진화 알고리즘은 범주 수준의 조합 스킬과 생성자 스킬을 점진적으로 정제하여, 반복되는 경험이 미지의 사례에 대해 동적으로 구성된 워크플로를 안내하도록 한다. 실험 결과, 명시적 조합 스킬은 기초 스킬만 사용하는 경우보다 생성 과정을 개선하며, 스킬 진화는 출력 품질을 더욱 향상시키고 미지의 사례로 일반화된다. 판정자 피드백을 반영하면 특히 출력 지표에서 추가 향상이 있으며, agent-as-judge는 특히 과정 지표에서 인간과 잘 일치한다. 코드는 https://github.com/JianhuiWei7/VideoWeaver 에서 이용할 수 있다.
원문 초록
Agentic long video generation requires planning, tool orchestration, and cross-clip coordination over a long horizon. Most existing video agents either rely on static, human-crafted workflows, which require substantial manual effort and poorly adapt across tasks, or iteratively refine the output of the current task without persistently distilling execution experience into reusable skills for future tasks. We introduce VideoWeaver, an agent harness and benchmark that evaluates and evolves skills for long video generation. Given a single high-level instruction, an agent dynamically composes foundation skills into its own workflow rather than following a predefined pipeline. We construct a benchmark of 16 task categories and 285 cases, with references spanning text, image, audio, video, and their combinations. We further propose an evidence-grounded agent-as-judge that inspects both the execution trace and the final video to diagnose process and output failures. Based on this feedback, our evolution algorithm progressively refines category-level composition and creator skills, allowing recurring experience to guide dynamically constructed workflows for unseen cases. Experiments show that explicit composition skills improve the generation process over foundation skills alone, while skill evolution further improves output quality and generalizes to unseen cases. Incorporating judge feedback yields additional gains, especially on output metrics, and the agent-as-judge aligns well with human, particularly on process metrics. Code is available at https://github.com/JianhuiWei7/VideoWeaver.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TextVBench: 비디오 생성에서 텍스트 렌더링과 보존 평가
TextVBench: Evaluating Text Rendering and Preservation in Video Generation
현대의 비디오 생성 모델은 설득력 있는 장면을 합성하면서도 일부 문자를 잘못 렌더링하거나, 요청된 텍스트를 생략하거나, 프레임 간에 텍스트를 변경하는 경우가 있다. 이러한 실패를 측정하는 것은 각 프레임에 독립적으로 OCR을 적용하는 것보다 어려운데, 장면에 여러 텍스트 대상과 여러 노이즈가 섞인 OCR 영역이 포함된 경우 평가자는 먼저 어떤 관측 결과가 어떤 의도된 텍스트에 속하는지 결정해야 하기 때문이다. 우리는 시각적 텍스트 평가를 다중 대상, 다중 인스턴스의 시공간적 대응 문제로 정식화한 벤치마크 및 평가 프레임워크인 TextVBench를 소개한다. TextVBench는 두 개의 상호 보완적인 트랙으로 구성된다: TextVBench-T2V는 프롬프트(prompt)로 지정된 텍스트의 생성과 유지를 측정하며, TextVBench-Ref2V는 참조 이미지로부터의 텍스트 보존을 측정한다. 두 트랙 모두 제약이 없는 VLM 전사(transcription) 대신 대상 조건화된 후보 선택 방식을 사용하고, 하나의 대상이 여러 OCR 영역에 매핑되는 것을 지원하며, 프레임 수준의 공간적 충실도와 프레임 간 시간적 충실도를 분리한다. 길이 가중 조화 점수(length-weighted harmonic score)가 이러한 요소들을 종합하며, 추가 텍스트(extra-text) 진단은 단일 OCR 점수로는 드러나지 않는 실패 모드를 노출한다. 이 벤치마크는 통제된 텍스트, 레이아웃, 캐리어, 모션 속성을 중심으로 구성되어 있어, 종합 점수를 특정 역량 한계로 추적할 수 있다. 평가된 모델(model) 실행 전반에서 MiniMax-H3는 T2V TextVScore 68.32를 달성했으며, 가장 높은 Ref2V 점수는 56.51이었다. 속성별 분석에서는 동시에 존재하는 참조 텍스트 영역의 수가 증가할수록 점수가 두드러지게 하락하는 것으로 나타났다.
BabelFake: 다국어 시청각 딥페이크 벤치마크
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.
테스트 시점의 긴 비디오 생성을 위한 분포 내 강제
In-Distribution Forcing for Long Video Generation at Test Time
현대의 자기회귀(AR) 비디오 확산 모델은 짧은 길이의 비디오 생성에는 뛰어나지만, 색상과 질감이 변하고 모션 동역학이 저하되는 표류(drifting) 현상으로 인해 긴 비디오 생성은 여전히 어려운 과제로 남아 있습니다. 기존 연구들은 주로 캐시된 키-값(KV) 항목을 선택하거나 수정하여 표류를 완화하는 KV 조건화(KV conditioning)에 의존합니다. 그러나 우리는 KV 조건화만으로는 캐시된 KV 항목이 분포 내(in-distribution)에 유지된다고 가정하기 때문에 불충분하다는 점을 관찰했습니다. 이 가정은 학습(training) 범위를 넘어서면 유효하지 않습니다. 즉, 롤아웃(rollout) 중에 KV 항목의 구성을 제한하는 요소가 없으므로 캐시된 항목 자체가 분포 외(OOD)가 되는 KV 출처 문제(KV-provenance problem)가 발생합니다. 이를 해결하기 위해 우리는 KV 캐싱과 KV 조건화 모두를 학습 구성과 일치시키는 테스트 시점 프레임워크인 분포 내 강제(In-Distribution Forcing, ID-Forcing)를 제안합니다. 핵심 메커니즘인 자체 캐싱(self-caching)은 근본적으로 OOD KV 항목의 생성을 방지합니다. 각 청크는 이전 KV 항목을 참조(attend)하지 않고 캐시되어 롤링 윈도우를 정확히 분포 내로 유지합니다. 그 결과, ID-Forcing은 짧은 길이의 모델을 분 단위 규모의 비디오 생성으로 매끄럽게 확장합니다. 광범위한 평가를 통해 본 연구의 방법이 표준 비디오 생성 벤치마크에서 경쟁력을 유지하면서도, 자체 표류 지표와 사용자 조사를 통해 검증된 바와 같이 표류 완화 측면에서 이전 연구들을 크게 능가함을 보여줍니다.
Weave Forcing: 대화형 롱 비디오 생성을 위한 구성적 메모리 라우팅
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
최근 자기회귀(autoregressive) 비디오 생성의 발전으로 장시간에 걸친 시간적 일관성은 향상되었으나, 대화형 스토리텔링은 단순한 연속적 장면 확장을 넘어 이전의 서로 다른 샷들로부터 인물과 배경을 조합하는 새로운 샷을 요구하기도 합니다. 전체 프롬프트(prompt) 기반 검색은 개별 구성 요소의 서로 다른 참조 요구 사항을 간과할 수 있으며, 이전의 모든 메모리를 직접 결합하는 것은 무관한 시각적 콘텐츠를 유입시킬 수 있습니다. 이러한 문제를 해결하기 위해, 대화형 롱 비디오 생성에서 구성적 메모리 재사용을 위한 학습(training) 불필요 프레임워크인 Weave Forcing을 제안합니다. 먼저, 대규모 언어 모델(LLM)을 활용한 시맨틱 슬롯 라우팅을 통해 사용자 프롬프트를 인물 및 배경 설명으로 분해하고 각 구성 요소에 적합한 이전 참조를 명시적으로 선택합니다. 필요한 콘텐츠를 분리하기 위해, 마스크된 메모리 위빙(masked memory weaving)은 시맨틱 슬롯에 기반한 대조 어텐션(attention) 맵을 사용하여 정제된 시맨틱 마스크를 구성하고, 압축된 이전 KV 메모리로부터 관련 토큰을 선택적으로 노출하여 현재 샷의 생성을 유도합니다. 나아가 불완전한 이전 참조가 현재 생성 지점과 가깝게 위치할 때 관찰되는 시각적 아티팩트를 해결하기 위해, 참조의 미적용, 부분 적용, 완전 적용 범위에 맞춰 시간적 오프셋과 메모리 보존을 조정하는 커버리지 적응형 RoPE(coverage adaptive RoPE)를 도입합니다. 광범위한 실험을 통해 Weave Forcing이 경쟁력 있는 시각적 품질과 텍스트 정렬을 유지하면서 샷 간 피사체 및 배경 일관성을 향상함을 입증합니다.
월드 임베딩 벤치마크
World Embedding Benchmark
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
PhysVista: 인지-추론-평가 루프를 통한 VLM의 물리적 지능 벤치마킹
PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop
비전-언어 모델(VLM)은 뛰어난 멀티모달 추론 능력을 보여주었으나, 실제 세계 역학의 기반이 되는 물리적 일관성을 진정으로 포착하고 있는지는 여전히 불분명합니다. 기존 벤치마크 패러다임은 인지, 추론, 물리적 판단 사이의 내재적 시너지를 간과한 채 고립된 인지 단계에만 집중하는 파편화된 평가로 어려움을 겪는 경우가 많습니다. 이러한 총체적 관점의 부재는 최근 등장하는 생성 모델의 물리적 진위성을 VLM이 신뢰성 있게 평가할 수 있는지 진단하는 데 한계를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 인간의 관찰-추론-평가 과정에서 영감을 얻은 폐쇄형 인지 루프 프레임워크를 통해 VLM의 물리적 지능을 평가하도록 설계된 벤치마크인 PhysVista를 소개합니다. PhysVista는 물리적 상태 인지, 물리적 역학 추론, 물리적 타당성 평가를 공동으로 평가함으로써 이 루프를 복원합니다. 또한 물리적 이해에 대한 세분화된 분석을 가능하게 하기 위해 사건 수준 추론과 스케일 수준 추론을 구분합니다. 이에 더해 PhysVista는 실제 영상과 AI 생성 영상을 모두 포함하여 다양한 도메인과 새롭게 부상하는 생성 시나리오 전반에 걸친 평가를 가능하게 합니다. 다양한 VLM 세트를 대상으로 한 광범위한 실험을 통해 물리적 추론 및 타당성 평가에서 상당한 한계가 드러났으며, 이는 시각적 인식과 진정한 물리적 이해 사이에 지속적인 격차가 존재함을 부각하고 물리적으로 기반을 둔(physically grounded) 멀티모달 지능을 위한 보다 원칙적인 설계 방향을 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.