Hi-Singers: 표현력 있는 오디오 기반 노래하는 머리 합성을 위한 포괄적인 고품질 데이터셋
Hi-Singers: A Comprehensive High-Quality Dataset for Expressive Audio-Driven Singing Head Synthesis
한국어 초록
오디오 기반 디지털 휴먼 생성을 위한 최첨단 모델들은 말하는 머리 합성(talking-head synthesis)에서 사실적인 결과를 달성했습니다. 그러나 상당한 도메인 격차(Domain Gap)로 인해 이러한 모델을 노래하는 머리 합성(singing-head synthesis)으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다. 노래는 더 과장된 표정, 생생한 턱 벌림, 그리고 정밀한 리듬 동기화를 필요로 하기 때문입니다. 주로 음성 데이터셋으로 학습된 기존 모델들은 종종 "리듬 편차(rhythmic drift)"와 제한된 역동성으로 인해 어려움을 겪습니다. 이를 해결하기 위해 우리는 노래하는 머리 합성에 특별히 맞춰진 최초의 대규모 고품질 인더와일드(in-the-wild) 비디오 데이터셋인 Hi-Singers를 소개합니다. Hi-Singers는 엄격한 자동화 및 수동 필터링 파이프라인을 거쳐 엄격한 주제 부합성, 고해상도 렌더링, 안정적인 움직임을 보장하며, 총 약 170시간에 달하는 29,608개의 비디오 세그먼트를 구축했습니다. 나아가 우리는 언어 및 음악적 스타일에 걸쳐 균형 잡힌 전용 평가 벤치마크를 구축했습니다. 3D 계수 기반 및 확산(diffusion) 기반 모델을 포함한 다양한 아키텍처에 걸친 광범위한 실험은 Hi-Singers가 모든 차원에서 성능을 일관되고 크게 향상시킴을 보여줍니다. 구체적으로, 이 데이터셋을 통해 모델은 우수한 시각적 사실성, 향상된 립싱크 일관성, 더욱 정밀한 리듬 역동성을 달성할 수 있어 도메인 격차를 효과적으로 해소하고 노래 합성 태스크에 대한 새로운 성능 기준을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singers 에서 확인할 수 있습니다.
원문 초록
State-of-the-art models for audio-driven digital human generation have achieved photo-realistic results in talking-head synthesis. However, extending these models to singing-head synthesis remains challenging due to a significant Domain Gap: singing requires more exaggerated expressions, vivid jaw openings, and precise rhythmic synchronization. Current models, primarily trained on speech datasets, often struggle with "rhythmic drift" and constrained dynamics. To address this, we introduce Hi-Singers, the first large-scale, high-quality, in-the-wild video dataset specifically tailored for singing head synthesis. Hi-Singers undergoes a rigorous automated and manual filtering pipeline, ensuring strict thematic adherence, high-resolution rendering, and stable motion, resulting in 29,608 video segments totaling approximately 170 hours. We further establish a dedicated evaluation benchmark balanced across linguistic and musical styles. Extensive experiments across diverse architectures, including 3D-coefficient and diffusion-based models, demonstrate that Hi-Singers consistently and significantly improves performance across all dimensions. Specifically, it enables models to achieve superior visual realism, enhanced lip-sync consistency, and more precise rhythmic dynamics, effectively bridging the domain gap and setting a new performance standard for the singing synthesis task. The dataset is available at https://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singers
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22264v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TextVBench: 비디오 생성에서 텍스트 렌더링과 보존 평가
TextVBench: Evaluating Text Rendering and Preservation in Video Generation
현대의 비디오 생성 모델은 설득력 있는 장면을 합성하면서도 일부 문자를 잘못 렌더링하거나, 요청된 텍스트를 생략하거나, 프레임 간에 텍스트를 변경하는 경우가 있다. 이러한 실패를 측정하는 것은 각 프레임에 독립적으로 OCR을 적용하는 것보다 어려운데, 장면에 여러 텍스트 대상과 여러 노이즈가 섞인 OCR 영역이 포함된 경우 평가자는 먼저 어떤 관측 결과가 어떤 의도된 텍스트에 속하는지 결정해야 하기 때문이다. 우리는 시각적 텍스트 평가를 다중 대상, 다중 인스턴스의 시공간적 대응 문제로 정식화한 벤치마크 및 평가 프레임워크인 TextVBench를 소개한다. TextVBench는 두 개의 상호 보완적인 트랙으로 구성된다: TextVBench-T2V는 프롬프트(prompt)로 지정된 텍스트의 생성과 유지를 측정하며, TextVBench-Ref2V는 참조 이미지로부터의 텍스트 보존을 측정한다. 두 트랙 모두 제약이 없는 VLM 전사(transcription) 대신 대상 조건화된 후보 선택 방식을 사용하고, 하나의 대상이 여러 OCR 영역에 매핑되는 것을 지원하며, 프레임 수준의 공간적 충실도와 프레임 간 시간적 충실도를 분리한다. 길이 가중 조화 점수(length-weighted harmonic score)가 이러한 요소들을 종합하며, 추가 텍스트(extra-text) 진단은 단일 OCR 점수로는 드러나지 않는 실패 모드를 노출한다. 이 벤치마크는 통제된 텍스트, 레이아웃, 캐리어, 모션 속성을 중심으로 구성되어 있어, 종합 점수를 특정 역량 한계로 추적할 수 있다. 평가된 모델(model) 실행 전반에서 MiniMax-H3는 T2V TextVScore 68.32를 달성했으며, 가장 높은 Ref2V 점수는 56.51이었다. 속성별 분석에서는 동시에 존재하는 참조 텍스트 영역의 수가 증가할수록 점수가 두드러지게 하락하는 것으로 나타났다.
BabelFake: 다국어 시청각 딥페이크 벤치마크
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.
월드 임베딩 벤치마크
World Embedding Benchmark
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
비디오 생성에서 동적 피사체 집합에 대한 피사체 일관성을 향하여
Towards Subject Consistency over Dynamic Subject Sets in Video Generation
본 논문에서는 비디오 생성이 더 긴 시간으로 확장됨에 따라, 피사체 일관성(subject consistency)을 동적 피사체 집합(dynamic subject sets) 상에서 평가해야 한다고 주장합니다. 이에 따라 적격한 피사체들의 가시적 수명 동안 이들을 동적으로 추적하고, 불일치 이벤트를 명시적으로 감지하며 상호 보완적인 6개의 객체 수준 지표를 사용하여 국소적 연속성과 전역적 정체성 보존을 측정하는 평가 프레임워크인 DynSC-Eval을 소개합니다. 유효성을 검증하기 위해 불일치 이벤트를 능동적으로 주입하는 합성 실험을 설계하여, DynSC-Eval의 민감도와 기존 지표들의 한계를 모두 입증합니다. 5초, 15초, 60초 비디오 생성에 대해 다양한 모델을 평가한 결과, 기존 지표로는 가려졌던 상당한 피사체 일관성 차이가 더욱 명확히 드러났습니다. 평가를 넘어, DynSC-Eval로부터 보상을 구축하고 자율주행 테스트베드에서 DiffusionNFT 사후 학습(post-training)을 적용합니다. 5초 생성에서 본 접근 방식은 6개의 불일치 지표를 Wan-2.1-1.3B의 경우 평균 13.82%, SANA-2B의 경우 5.66% 감소시켰으며, I2V 모델인 ReSim에서도 개선이 관찰되었습니다. 정성적 비교를 통해서도 제안 방법의 효과를 추가로 입증합니다. 이후 커리큘럼 학습(curriculum learning)을 통해 생성을 10초 및 30초로 확장하고, 다른 기능들을 대체로 보존하면서도 일관성 최적화가 여전히 유효함을 보여줍니다.
Ego2Act: 1인칭 비디오 생성에서의 목표 지향적 조작 평가
Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation
비디오 생성 모델은 체화된 계획 수립(embodied planning) 및 학습을 위한 월드 시뮬레이터로서 점점 더 많이 연구되고 있습니다. 이를 효과적으로 수행하려면 이러한 모델은 시각적으로 매력적인 프레임을 생성할 뿐만 아니라, 목표 지향적 행동을 실행할 때 환경이 어떻게 동적으로 변화하는지 예측해야 합니다. 이러한 역량을 평가하는 것은 매우 중요하지만, 기존 벤치마크는 주로 단일 단기 행동이나 단계별 지침에 초점을 맞추고 있습니다. 이로 인해 다단계 물리적 추론, 특히 여러 실제 조작을 수행하여 고수준 목표를 달성하기 위해 올바른 실행을 시뮬레이션하는 계획이 필요한 1인칭(egocentric) 비디오 생성 분야에서는 충분히 탐구되지 못한 채로 남아 있습니다. 본 연구에서는 일상적 환경, 다양한 물체 복잡도(clutter), 다단계 복잡성을 아우르는 110개 실제 과제의 2,640개 비디오로 구성된 목표 지향적 벤치마크인 Ego2Act를 소개합니다. 초기 장면 이미지와 고수준 목표가 주어졌을 때, Ego2Act는 비디오 생성 모델이 과제를 수행하기 위해 손이 물체를 조작하는 사실적인 1인칭 비디오를 생성할 수 있는지 평가합니다. 확장 가능한 평가를 지원하기 위해, 관련 베이스라인에 비해 작업 완료도 및 물리적 타당성 평가에서 인간의 판단과 더 높은 일치도를 달성하는 무참조(reference-free) 평가 파이프라인인 Ego2ActJudge도 함께 소개합니다. 연구 결과, 모델이 생성한 시뮬레이션은 단계를 건너뛰거나 부분적으로만 실행하여 이후 단계에서 의존적인 상태가 누락되는 경우가 많았고, 이는 목표 미달성으로 이어지는 것으로 나타났습니다. 나아가 모델들은 복잡한 물체 조작 및 영속적인 월드 모델링 과정에서 세밀한 물리적 동역학을 재현하는 데 지속적으로 실패했습니다. Ego2Act가 비디오 모델을 물리적으로 타당하며 목표 지향적인 시뮬레이션으로 발전시키기 위한 엄밀한 테스트베드를 제공하기를 기대합니다.
PhysicsLENS: 비디오 생성 모델의 물리적 특성 맹점 진단
PhysicsLENS: Diagnosing Physical Property Blindness in Video Generation Models
신뢰할 수 있는 비디오 월드 모델은 로봇 학습, 계획, 평가(evaluation)를 위한 확장 가능한 예측 환경을 제공할 수 있습니다. 그러나 생성된 로봇 비디오는 물리 법칙을 위배하고 물리적으로 불가능한 행동을 통해 작업을 완료할 수 있어, 로봇 학습 및 계획에 대한 신뢰성을 제한합니다. 현재의 비디오 생성 벤치마크는 시각적으로 본질적으로 숨겨진 물리적 특성(예: 무게, 점성, 마찰)을 배제합니다. 이로 인해 비디오 모델은 물리 법칙의 내재적 정확성이 아닌 물리의 시각적 충실도만을 기준으로 평가됩니다. 본 논문에서는 로보틱스에 기반한(grounded) 물리적 특성의 타당성을 평가하기 위한 데이터셋(dataset)이자 벤치마크인 PhysicsLENS를 소개합니다. PhysicsLENS는 동일한 조건 프레임과 작업을 유지하면서 장면 설명에서 내재된 물리적 특성을 변화시키는 매칭된 시나리오 쌍을 사용합니다. 시나리오는 공개 로봇 비디오 소스에서 선별되었으며 충돌, 중력, 모멘텀, 마찰, 변형, 유체, 인과관계의 7가지 물리 도메인에 걸쳐 주석이 달렸습니다. 4개의 비디오 생성 모델에 걸쳐 평가를 수행하여 400개 이상의 인간 주석 레이블을 생성했습니다. 실험 결과, 그럴듯해 보이는 비디오도 명시된 물리적 특성을 무시하는 경우가 많았으며(47개 중 34개), 특성을 명시하더라도 타당성은 미미하게만 낮아질 뿐 유의미한 차이를 보이지 않는 것으로 나타났습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.