PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13608v1eess.AS

적대적 학습을 통한 연속 SPL 제어 기반 음성 강도 변환

Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training

음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.

arXiv:2607.13721v1cs.CL

자기지도 음성 비교를 이용한 L2 음소, 리듬, 억양 채점

Self-supervised Speech Comparison for L2 Phone, Rhythm, and Intonation Scoring

L2 음성 평가는 전통적으로 음성학적 평가에 집중해 왔으며, 리듬과 억양 같은 초분절 음성 특징의 채점은 상대적으로 덜 다뤄졌다. 또한 평가 방법은 종종 라벨이 있는 L2 음성 데이터로 학습이 필요해 저자원 환경에서는 적용하기 어렵다. 본 연구에서는 자기지도 WavLM 표현에 대한 DTW(동적 시간 정렬)가 영어와 일본어 L2 음성에서 음성학적 정확도, 리듬, 억양을 평가할 수 있는 텍스트 없는(text-free) 프레임워크를 제공할 수 있는지 조사한다. 결과에 따르면 학습자 음성을 원어민 템플릿과 비교하는 기본적인 DTW 기반 접근법은 전반적 및 문장 수준 음성학적 채점에서 인간 평가자 간 일치도를 능가한다. 리듬의 경우 DTW 정렬 경로의 워핑(warping) 정도를 측정하는 방법을 제안하며, 최우수 방법은 인간 수준 성능에 근접한다. 억양의 경우 운율(prosodic) 잔차에 대한 DTW 거리와 피치(pitch) 및 강도(intensity) 특징을 결합하지만, 일부 과제에서는 성능이 다소 낮게 유지된다. 본 결과는 자기지도 표현이 다면적 발음 평가를 위한 유망한 텍스트 없는 기반임을 시사한다.

arXiv:2607.10191v1cs.SD

심층 특징 앵커링 선호 최적화를 통한 스트리밍 목표 화자 추출의 품질-명료도 트레이드오프 극복

Breaking the Quality--Intelligibility Trade-off in Streaming Target Speaker Extraction via Deep-Feature-Anchored Preference Optimization

목표 화자 추출(TSE)을 위한 생성형 스트리밍 모델은 일반적으로 품질-명료도 트레이드오프를 나타내는데, 지각적 오디오 품질을 위한 단순한 최적화는 음성 명료도를 저하시키는 경향이 있으며 그 반대도 마찬가지이다. 우리는 이 트레이드오프가 스트리밍 아키텍처의 제약에서 비롯되는 것이 아니라, 최적화 앵커의 부적절한 선택에서 발생함을 밝힌다. 오디오 품질 지표를 직접 최적화하면 치명적인 보상 해킹(reward hacking)이 유발되며, 이로 인해 발음과 명료도에 핵심적인 콘텐츠가 대리 점수를 극대화하기 위해 체계적으로 제거된다. 이 병목을 해소하기 위해, 우리는 두 가지 상호 보완적인 개선책을 제안한다: 더 풍부한 로컬 스펙트로-시간 모델링을 위한 확장된 Conformer 합성곱 커널, 그리고 WavLM 앵커링 직접 선호 최적화(DPO) 미세조정 전략이다. DPO 선호 쌍은 음성 구조와 화자 정체성을 모두 인코딩하는 심층 음향 특징인 WavLM 코사인 유사도로 순위가 매겨지며, 이는 해킹에 저항하는 최적화 앵커를 제공한다. 560 ms 스트리밍 청크 크기에서, 제안된 방법은 10.9%의 상대적 명료도 향상(단어 오류율: 0.138에서 0.123)을 달성하며, 오디오 품질과 화자 유사도에서도 동시에 소폭의 향상을 보인다.

arXiv:2606.27543v1cs.SD

비교정 자연주의적 음성 녹음에서 WavLM과 데이터 증강을 활용한 화화자 기반 발성 노력 분류 고도화

Advancing Speaker-Based Vocal Effort Classification with WavLM and Data Augmentation in Naturalistic Non-Calibrated Speech Recordings

발성 노력 범위(예: 속삭임, 부드러운 목소리, 중립, 큰 소리, 고함)의 변화는 발성과 음성 음향학 특성을 바꾸며, 명료도를 떨어뜨리고 이후 음성 기술의 견고성을 제한한다. 분류는 발성 노력이 연속체 위에 놓여 있고, 인접 범주가 쉽게 혼동되며, 레이블이 붙은 데이터가 여전히 부족하기 때문에 어렵다. wav2vec2, HuBERT, AST를 사용한 기존 자기지도 학습(SSL) 접근법은 AVID 코퍼스에서 성능을 개선하지만, 여전히 경계 오류에 시달린다. 본 연구에서는 발성 노력 분류에 WavLM을 처음으로 도입하고, wav2vec2 및 HuBERT와 벤치마크 비교한다. 데이터 부족 문제를 해결하기 위해, RIR 합성곱, 가산 노이즈, 시간 마스킹, 속도 perturbation, 대역 제한, MixUp, CutMix를 포함한 증강 전략에 대한 체계적 연구를 수행한다. 데이터 증강은 WavLM을 일관되게 개선하며, 절대값 기준 +0.6%에서 +1.8%의 향상을 보인다. 또한 가우시안 이웃 소프트 레이블을 제안하며, 이는 발성 노력 연속체를 모델링함으로써 경계 근처 혼동을 더욱 줄인다. 점진적 언프리징, 데이터 증강, 가우시안 이웃 소프트 레이블을 적용한 WavLM-BASE 최종 시스템은 평균 정확도 78.2%를 달성하여 AVID에서 새로운 최신 기록(state-of-the-art)을 수립한다.

arXiv:2602.15537v2cs.CL

ZeroSyl: 음성 언어 모델링을 위한 간단한 Zero-Resource 음절 토큰화

ZeroSyl: Simple Zero-Resource Syllable Tokenization for Spoken Language Modeling

순수 음성 언어 모델은 텍스트 자원 없이 원본 오디오(raw audio)에서 직접 언어를 학습하는 것을 목표로 합니다. 주요 과제는 자기지도 음성 인코더(self-supervised speech encoder)의 이산 토큰(discrete token)이 과도하게 긴 시퀀스를 초래한다는 점으로, 이는 음절 유사 단위(syllable-like unit)에 대한 최근 연구를 동기 부여했습니다. 그러나 Sylber와 SyllableLM과 같은 방법은 복잡한 다단계 학습 파이프라인에 의존합니다. 우리는 고정된 WavLM 모델에서 직접 음절 경계(syllable boundary)와 임베딩(embedding)을 추출하는 간단한 학습 없는 방법인 ZeroSyl을 제안합니다. WavLM의 중간 레이어에 있는 특징(feature)의 L2 놈(L2 norm)을 사용하여, ZeroSyl은 경쟁력 있는 음절 분할(syllable segmentation) 성능을 달성합니다. 결과 세그먼트는 평균 풀링(mean-pooling)되고, K-means를 사용하여 이산화되며, 언어 모델을 학습하는 데 사용됩니다. ZeroSyl은 어휘적(lexical), 통사적(syntactic), 서사적(narrative) 벤치마크 전반에서 기존 음절 토크나이저를 능가합니다. 스케일링(scaling) 실험에 따르면 더 세분화된(finer-grained) 단위는 어휘적 작업에 유리하지만, 우리가 발견한 음절 단위는 통사적 모델링에서 더 나은 스케일링 성능을 보여줍니다.