PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25948v1cs.SD

실제 대화 음성 향상을 위한 다화자 추출의 과제

Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement

목표 화자(target-speaker) 및 다화자(multi-speaker) 추출은 다른 화자 및/또는 잡음이 존재하는 환경에서 원하는 한 명 또는 여러 명의 화자 음성을 추출하는 기법이다. 이 과제에 대한 신경망 접근법은 종종 시뮬레이션 데이터셋으로 학습 및 평가되며, 목표 음성과 목표 음성과 밀접히 일치하는 화자 등록(speaker enrolment) 샘플이 균형 있게 포함된다. 그러나 실제 다자간 대화에서는 참가자들이 말하는 시간보다 침묵하는 시간이 더 긴 경우가 많으며, 등록 음성 샘플은 대화 중 목표 음성과 상당히 달라질 수 있다. 이러한 요인들은 실제 대화 녹음에 대해 이러한 기법의 학습과 평가에 영향을 미칠 수 있다. 본 연구는 학습 시 과도한 침묵의 영향을 완화하는 새로운 손실 함수를 제안하며, STOI를 0.55에서 0.60으로, 주파수 가중 구간 SNR(frequency-weighted segmental SNR)을 4.35에서 5.12로 개선한다. 또한 등록 음성과 목표 음성 간 불일치의 영향을 탐구한다.