PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00097v1cs.CV

DramaAgent: 에이전트 기반 스토리텔링 비디오 생성

DramaAgent: Agentic Storytelling Video Generation

최근 확산(diffusion) 및 자기회귀(autoregressive) 모델은 텍스트 기반 비디오 생성을 크게 향상시켰으나, 일관된 캐릭터와 정렬된 오디오를 갖춘 완결성 있는 롱폼(long-form) 스토리 비디오를 제작하는 것은 여전히 어려운 과제입니다. 기존 방식들은 확장된 시퀀스에서 서사 드리프트, 불안정한 캐릭터 정체성, 취약한 장면 간 연속성, 시청각 불일치 등의 문제를 자주 겪습니다. 본 논문에서는 롱폼 텍스트-비디오-오디오 생성을 위한 계층적이고 에이전트(agentic) 기반이며 모델에 구애받지 않는(model-agnostic) 프레임워크인 DramaAgent를 제안합니다. DramaAgent는 기반 비디오 백본 자체를 개선하기보다는 상위 제어 층을 도입하여 생성을 스토리 기획, 지속적인 캐릭터 조건화, 장면별 합성, 반추 기반 표적 복구 단계로 분해합니다. 이 프레임워크는 여러 장면에 걸쳐 재사용 가능한 스토리 및 캐릭터 상태를 유지하고, 정체성 드리프트, 누락된 장면 의미론, 시간적 불연속성, 모달리티 간 불일치와 같은 결함을 진단하며, 문제가 있는 클립을 단계별 방식으로 복구합니다. 여러 비디오 생성 백본에 걸친 실험을 통해 DramaAgent가 직접 생성 및 강력한 베이스라인 대비 장기적 일관성, 캐릭터 일관성, 서사 충실도, 장면 수준의 시청각 일관성을 향상함을 보여줍니다. 이러한 결과는 계층적 에이전트 제어가 제어 가능한 롱폼 시청각 생성을 위한 실용적인 방향임을 시사합니다. 코드: https://github.com/AIGeeksGroup/DramaAgent. 웹사이트: https://aigeeksgroup.github.io/DramaAgent.

arXiv:2606.25079v1cs.CV

FreeStory: 자유 형식 비주얼 스토리텔링을 위한 학습 없는 캐릭터 일관성

FreeStory: Training-Free Character Consistency for Free-Form Visual Storytelling

비주얼 스토리텔링(visual storytelling)은 내러티브 프롬프트와 정렬되면서도 이미지 전반에 걸쳐 캐릭터 외형이 일관된 이미지 시퀀스를 생성하는 것을 목표로 한다. 최근의 학습 없는(training-free) 방법들은 어텐션 특징을 재사용하여 캐릭터 일관성을 향상시키지만, 모든 프롬프트에 완전한 캐릭터 설명이 반복되는 구조화된 프롬프트에 의존한다. 이러한 가정은 작업을 단순화하지만, 캐릭터가 일반적으로 한 번 소개된 후 대명사나 유형 기반 표현으로 지칭되는 자연스러운 스토리텔링과는 괴리가 있다. 우리는 자유 형식 프롬프트 하에서의 캐릭터 일관성을 개체 기반(entity-grounded) 특징 재사용으로 재정식화하는 학습 없는 프레임워크 FreeStory를 제안한다. 우리의 방법은 참조 언급(reference mention)을 해당 캐릭터 설명과 연결하고, 동적 캐릭터 마스크, 대응 인식 특징 매칭(correspondence-aware feature matching), 키-값 주입(key-value injection), 쿼리 블렌딩(query blending)을 결합하여 생성 다양성을 유지하면서 정체성을 보존한다. 또한 단일 및 다중 캐릭터 스토리를 모두 포함하는 이 설정을 위한 벤치마크 FreeStoryBench를 소개한다. 실험 결과, FreeStory는 구조화된 벤치마크에서 학습 없는 방법들 중 최첨단 성능을 달성하며, 자유 형식 프롬프트 하에서 기준 방법들 대비 전반적으로 더 강한 일관성을 보인다.