SingGAN: Generative Adversarial Network For High-Fidelity Singing Voice Generation
원문 초록
Deep generative models have achieved significant progress in speech synthesis to date, while high-fidelity singing voice synthesis is still an open problem for its long continuous pronunciation, rich high-frequency parts, and strong expressiveness. Existing neural vocoders designed for text-to-speech cannot directly be applied to singing voice synthesis because they result in glitches and poor high-frequency reconstruction. In this work, we propose SingGAN, a generative adversarial network designed for high-fidelity singing voice synthesis. Specifically, 1) to alleviate the glitch problem in the generated samples, we propose source excitation with the adaptive feature learning filters to expand the receptive field patterns and stabilize long continuous signal generation; and 2) SingGAN introduces global and local discriminators at different scales to enrich low-frequency details and promote high-frequency reconstruction; and 3) To improve the training efficiency, SingGAN includes auxiliary spectrogram losses and sub-band feature matching penalty loss. To the best of our knowledge, SingGAN is the first work designed toward high-fidelity singing voice vocoding. Our evaluation of SingGAN demonstrates the state-of-the-art results with higher-quality (MOS 4.05) samples. Also, SingGAN enables a sample speed of 50x faster than real-time on a single NVIDIA 2080Ti GPU. We further show that SingGAN generalizes well to the mel-spectrogram inversion of unseen singers, and the end-to-end singing voice synthesis system SingGAN-SVS enjoys a two-stage pipeline to transform the music scores into expressive singing voices. Audio samples are available at \url{https://SingGAN.github.io/}
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Wan-Streamer v0.2: 더 높은 해상도, 동일한 지연 시간
Wan-Streamer v0.2: Higher Resolution, Same Latency
우리는 네이티브 스트리밍 방식의 엔드투엔드 오디오-비주얼 상호작용 모델의 지연 시간 보존 업그레이드인 Wan-Streamer v0.2를 소개한다. v0.2는 v0.1의 모델링 공식을 유지하면서 25 FPS에서 약 200 ms의 모델 측 신호-신호 간 지연 시간을 보존하며 인터랙티브 출력 스트림을 192x336에서 640x368로 높인다. 더 높은 해상도의 스트림은 자세, 시선, 손, 주변 사물, 로컬 장면 레이아웃이 실시간 대화 중에도 식별 가능한 상태를 유지하는 장면 기반 미드샷 에이전트를 지원한다. 사용자가 체감하는 지연 없이 더 큰 시각적 스트림을 지원하기 위해 v0.2는 씽커(thinker)를 스트리밍 지각을 위한 단일 GPU 저지연 경로, 생성 캐시를 구축하는 짧은 언어/상태 트랜스포머 패스, 최종 디코딩으로 유지한다. 퍼포머(performer)는 비용이 큰 차세대 유닛 잠재(latent) 생성을 위한 멀티 GPU 율리시스(Ulysses) 방식 컨텍스트 병렬 그룹이 된다. 각 퍼포머 랭크는 수신되는 K/V를 사전 샤딩된 로컬 캐시에 기록한다. 긴 고해상도 잠재 비디오 시퀀스는 디노이징을 위해 랭크 전체에 분할되고 Ulysses 통신을 통해 수집되는 반면, 훨씬 짧은 오디오 잠재 시퀀스는 시퀀스 샤딩 없이 생성된다. 이 분할에서 씽커의 언어/상태 연산은 K/V 컨디셔닝으로만 퍼포머에 전달되므로 퍼포머 그룹 내부에서 별도의 언어 시퀀스를 통신할 필요가 없다. 이를 통해 씽커-퍼포머 경계를 간결하게 유지하면서 추가 하드웨어를 시각적 생성에 집중할 수 있으며, 350 ms의 양방향 네트워크 예산이 포함될 때 총 원격 상호작용 지연 시간을 약 550 ms로 유지한다.
대화형 인간 오디오-비주얼 토킹 다이얼로그 생성
Conversational Human Audio-visual Talking Dialogue Generation
대규모 양자 간 상호작용 오디오-비주얼 다이얼로그(DIAD) 데이터셋은 휴머노이드 상호작용 가상 에이전트와 디지털 휴먼 개발을 위한 핵심 데이터 자원을 제공합니다. 그러나 이러한 데이터 수집은 시간이 많이 소요되고 비용이 높으며 윤리적으로 민감합니다. 이를 해결하기 위해, 우리는 단일 텍스트 프롬프트로부터 다양하고 쌍을 이루며 상호 반응하는 음성-얼굴 대화 클립을 생성하는 새로운 양자 간 상호작용 오디오-비주얼 다이얼로그 생성(DIADG) 프레임워크인 CHAT을 제안합니다. CHAT은 대규모 언어 모델(LLM)과 토킹 페이스 모델을 상호작용 오디오 및 안면 행동 정제 모듈과 통합하여, 다양한 콘텐츠와 안면 정체성을 갖춘 정렬된 양자 간 대화 클립 생성을 가능하게 합니다. 실험 결과, CHAT은 유사한 태스크를 위해 설계된 기존 관련 방법들을 객관적 및 주관적 평가 모두에서 능가합니다. 또한, 합성된 CHAT-AVD-50k 데이터셋은 다운스트림 인터랙티브 헤드 생성을 위한 효과적인 사전학습 데이터로 활용되어 REACT 2024에서 PerFRDiff와 ReactDiff를 일관되게 향상시킵니다. CHAT은 실제 양자 간 상호작용 데이터의 비용이 높고 윤리적으로 민감한 수집에 대한 확장 가능한 대안을 제공합니다.
Metronome: 실시간 인터랙션 모델 서빙을 위한 캐시 제한과 박자 유지
Metronome: Bound the Cache, Keep the Beat for Real-Time Interaction Model Serving
실시간 인터랙션 모델(Moshi, MiniCPM-o, Qwen-Omni)은 서빙을 주기적 실시간 태스크로 전환한다. 각 프레임마다 세션은 스트리밍 오디오를 수신하고 반복되는 실제 시간 마감 기한 내에 응답해야 하며, KV 캐시는 단조 증가하여 대화 전체 동안 메모리에 고정된 상태를 유지한다. 이 방식에는 위험한 장애 모드가 숨어 있다. 실제 전이중(full-duplex) 스택에서 지속적인 부하는 서빙을 점진적으로 저하시키지 않는다. 누적된 세션 상태가 KV 풀을 소진하면, 프레임당 밀리초 단위 응답에서 스톨된 엔진으로 한 번에 추락한다. 이 붕괴는 준안정(metastable) 상태로, 동일한 5분 실행이 실행마다 달리 붕괴하거나 생존하며 조용히 발생한다. 지연 시간과 마감 기한 초과 지표는 전 과정에서 정상으로 나타난다. 우리는 안정성과 관측 가능성을 모두 회복시키는 단 하나의 방법을 제시한다: 각 세션의 상주 상태를 제한하면 지연 시간이 실제 상황을 반영하기 시작한다. Metronome의 인-엔진 KV 윈도우는 붕괴를 제거하고(두 배치에서 20회 중 0회 vs. 14회 붕괴), 프레임당 지연 시간을 단조 증가하는 부하 신호로 전환하며, 이를 기반으로 온라인 어드미션 컨트롤러가 스케줄 가능한 동시성을 탐색한다. 윈도우 없이는 동일한 컨트롤러가 과도 허용하여 한계에 부딪힌다. 1차 모델은 주요 모델에서 붕괴 시간을 몇 퍼센트 이내로 예측하며, 품질 프로브는 에이블레이션을 통해 제한 설계를 검증한다. 윈도우 자체는 턴 기반 디코딩에서 품질 손실이 없으며, 고정된 소수의 어텐션 싱크 토큰이 자유 실행 생성의 품질을 유지한다. 모든 측정은 하나의 GPU에서 네 가지 인터랙션 모델에 걸쳐 실제 오디오로 엔드-투-엔드 수행되었다.
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
토론
이 논문과 연결된 포럼 글이 아직 없습니다.