DramaAgent: 에이전트 기반 스토리텔링 비디오 생성
DramaAgent: Agentic Storytelling Video Generation
최근 확산(diffusion) 및 자기회귀(autoregressive) 모델은 텍스트 기반 비디오 생성을 크게 향상시켰으나, 일관된 캐릭터와 정렬된 오디오를 갖춘 완결성 있는 롱폼(long-form) 스토리 비디오를 제작하는 것은 여전히 어려운 과제입니다. 기존 방식들은 확장된 시퀀스에서 서사 드리프트, 불안정한 캐릭터 정체성, 취약한 장면 간 연속성, 시청각 불일치 등의 문제를 자주 겪습니다. 본 논문에서는 롱폼 텍스트-비디오-오디오 생성을 위한 계층적이고 에이전트(agentic) 기반이며 모델에 구애받지 않는(model-agnostic) 프레임워크인 DramaAgent를 제안합니다. DramaAgent는 기반 비디오 백본 자체를 개선하기보다는 상위 제어 층을 도입하여 생성을 스토리 기획, 지속적인 캐릭터 조건화, 장면별 합성, 반추 기반 표적 복구 단계로 분해합니다. 이 프레임워크는 여러 장면에 걸쳐 재사용 가능한 스토리 및 캐릭터 상태를 유지하고, 정체성 드리프트, 누락된 장면 의미론, 시간적 불연속성, 모달리티 간 불일치와 같은 결함을 진단하며, 문제가 있는 클립을 단계별 방식으로 복구합니다. 여러 비디오 생성 백본에 걸친 실험을 통해 DramaAgent가 직접 생성 및 강력한 베이스라인 대비 장기적 일관성, 캐릭터 일관성, 서사 충실도, 장면 수준의 시청각 일관성을 향상함을 보여줍니다. 이러한 결과는 계층적 에이전트 제어가 제어 가능한 롱폼 시청각 생성을 위한 실용적인 방향임을 시사합니다. 코드: https://github.com/AIGeeksGroup/DramaAgent. 웹사이트: https://aigeeksgroup.github.io/DramaAgent.