적대적 학습을 통한 연속 SPL 제어 기반 음성 강도 변환
Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
한국어 초록
음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.
원문 초록
Vocal intensity conversion renders a recorded utterance at a different vocal intensity, rather than simply scaling its amplitude, while preserving its content and speaker identity. Existing systems control intensity through a reference utterance or a few discrete categories. Instead, we control the conversion with any target sound pressure level (SPL) on a continuous dB scale. A lightweight converter, trained as a conditional cycle-consistent GAN without parallel data, transforms the features of a frozen speech encoder, from which a pretrained vocoder resynthesizes the speech. We compare three representations, log-mel spectrograms, WavLM, and SpeechTokenizer, and introduce an objective protocol that measures the achieved intensity change against the target one on a calibrated corpus. With WavLM, the converter achieves a measured 83% of the target change in intensity and also shifts the fundamental frequency. A perceptual evaluation confirms that perceived vocal intensity increases with the target level on amplitude-normalized stimuli.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이
EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video
내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.
ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향
Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion
각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.
악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크
The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer
헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.
다중 기관 데이터셋에 걸친 유방촬영술 석회화 분류를 위한 비지도 도메인 적응
Unsupervised Domain Adaptation for Calcification Classification in Mammography Across Multi-Site Datasets
심층 학습(deep learning) 기반 컴퓨터 보조 진단(CAD) 시스템은 유방암 진단, 특히 유방촬영술의 분류 작업에서 높은 성능을 보여왔다. 그러나 다중 기관 데이터셋 간의 도메인 이동(domain shift)은 여전히 과제로 남아 있으며, 특히 모델이 미지의 도메인에 적용될 때 두드러진다. 본 연구에서는 다중 기관 유방촬영술 데이터셋에 걸쳐 악성 대 양성 유방 질환 분류를 개선하기 위한 석회화 분류 프레임워크를 제안하였다. 이 프레임워크는 두 가지 구성 요소로 이루어진다: (1) 추가 어노테이션 없이 제조사별 및 촬영 기법별 학습 샘플을 생성하기 위해 스타일 전이 모델(AdaIN 및 CycleGAN)을 기반으로 한 비지도 도메인 적응 모듈, 그리고 (2) Swin Transformer V2를 백본으로 사용하는 지도 분류 모듈. 제안한 방법을 세 가지 데이터셋에서 평가하였다: OPTIMAM(영국 국민보건서비스; n=2994)에 대한 교차 검증, 이후 EMBED(에모리 대학교; n=125) 및 Duke Calcification Dataset v1(n=788)에 대한 외부 검증. 이 데이터셋들은 여러 제조사를 포함하며, 전장 디지털 유방촬영술(full-field digital mammography)과 디지털 유방 단층합성술(digital breast tomosynthesis)에서 파생된 합성 2D 이미지를 모두 포함한다. 제안된 프레임워크는 EMBED(AUC 0.68에서 0.72)와 Duke Calcification Dataset(AUC 0.68에서 0.73) 모두에서 교차 기관 성능을 향상시켰다. 이러한 결과는 도메인 적응이 도메인 이동을 줄이고 다중 기관 데이터셋에 걸친 석회화 분류의 일반화를 개선할 수 있음을 보여준다.
대규모 인공 생성 볼륨 데이터셋에서 스티칭과 차원성의 영향
Stitching and dimensionality effects on large artificially generated volume datasets
심층 학습을 통해 대규모 이미지를 생성하려면 하드웨어 메모리 한계에 맞추기 위해 입력 데이터를 패치로 나눈 뒤 출력 패치를 조립해야 하며, 이 과정에서 인접 패치의 경계가 정렬되지 않을 때 스티칭 아티팩트가 발생할 수 있다. 이러한 아티팩트가 분할 작업에 영향을 준다는 것은 알려져 있지만, 스타일 전송(style-transfer)용 생성 모델에 미치는 영향은 잘 알려져 있지 않다. 우리는 cryo-electron microscopy 데이터셋으로 학습한 cycleGAN 모델을 사용하여 세 가지 스티칭 방식과 두 가지 패치 차원(2D 대 3D)을 조사했다. 지각적 품질과 하위 미토콘드리아 분할 작업 성능을 모두 평가했다. 주요 결과는 다음과 같다. (1) FID 점수는 하위 분할 성능에 상당한 영향을 미치는 미세한 스티칭 아티팩트를 감지하지 못한다. (2) 아티팩트가 없는 스티칭을 갖춘 3D 모델은 하위 작업에서 2D 모델보다 근소하게 더 나은 성능을 보이지만, 그 개선은 계산 비용을 정당화하기에 거의 이르지 못한다. (3) 2D 모델은 더 큰 배치 크기 덕분에 더 안정적으로 학습된다. 또한 세 직교 방향의 예측을 앙상블하면 저품질 볼륨을 개선할 수 있지만 고품질 출력에는 이점이 없음을 보였다. 이러한 결과는 대규모 과학 데이터셋에서 생성 모델 성능을 극대화하려면 스티칭 아티팩트를 신중히 고려하고 완화해야 하며, 지각적 지표만으로는 생의학 영상에서 도메인 적응 품질을 평가하기에 불충분함을 보여준다.
Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
5 pages, 2 figures, 1 table. Submitted to IEEE ICASSP 2027. Code: https://github.com/vers-project/vocal-intensity-conversion. This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible