arXiv:2408.14797

MaskCycleGAN-based Whisper to Normal Speech Conversion

K. Rohith Gupta, K. Ramnath, S. Johanan Joysingh, P. Vijayalakshmi, T. Nagarajan

제출 2024-08-27

원문 초록

Whisper to normal speech conversion is an active area of research. Various architectures based on generative adversarial networks have been proposed in the recent past. Especially, recent study shows that MaskCycleGAN, which is a mask guided, and cyclic consistency keeping, generative adversarial network, performs really well for voice conversion from spectrogram representations. In the current work we present a MaskCycleGAN approach for the conversion of whispered speech to normal speech. We find that tuning the mask parameters, and pre-processing the signal with a voice activity detector provides superior performance when compared to the existing approach. The wTIMIT dataset is used for evaluation. Objective metrics such as PESQ and G-Loss are used to evaluate the converted speech, along with subjective evaluation using mean opinion score. The results show that the proposed approach offers considerable benefits.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13608v1eess.AS공통 태그 Generative Adversarial Network, Voice Conversion

적대적 학습을 통한 연속 SPL 제어 기반 음성 강도 변환

Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training

음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.

arXiv:2609.24688v1cs.SD공통 태그 Generative Adversarial Network, Voice Conversion

ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향

Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion

각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.

arXiv:2505.08854v2cs.CV공통 태그 Generative Adversarial Network공식 코드 · Papers with Code

자율주행을 위한 생성형 AI: 최전선과 기회

Generative AI for Autonomous Driving: Frontiers and Opportunities

생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.