Single channel speech enhancement by colored spectrograms
원문 초록
Speech enhancement concerns the processes required to remove unwanted background sounds from the target speech to improve its quality and intelligibility. In this paper, a novel approach for single-channel speech enhancement is presented, using colored spectrograms. We propose the use of a deep neural network (DNN) architecture adapted from the pix2pix generative adversarial network (GAN) and train it over colored spectrograms of speech to denoise them. After denoising, the colors of spectrograms are translated to magnitudes of short-time Fourier transform (STFT) using a shallow regression neural network. These estimated STFT magnitudes are later combined with the noisy phases to obtain an enhanced speech. The results show an improvement of almost 0.84 points in the perceptual evaluation of speech quality (PESQ) and 1% in the short-term objective intelligibility (STOI) over the unprocessed noisy data. The gain in quality and intelligibility over the unprocessed signal is almost equal to the gain achieved by the baseline methods used for comparison with the proposed model, but at a much reduced computational cost. The proposed solution offers a comparative PESQ score at almost 10 times reduced computational cost than a similar baseline model that has generated the highest PESQ score trained on grayscaled spectrograms, while it provides only a 1% deficit in STOI at 28 times reduced computational cost when compared to another baseline system based on convolutional neural network-GAN (CNN-GAN) that produces the most intelligible speech.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실제 대화 음성 향상을 위한 다화자 추출의 과제
Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement
목표 화자(target-speaker) 및 다화자(multi-speaker) 추출은 다른 화자 및/또는 잡음이 존재하는 환경에서 원하는 한 명 또는 여러 명의 화자 음성을 추출하는 기법이다. 이 과제에 대한 신경망 접근법은 종종 시뮬레이션 데이터셋으로 학습 및 평가되며, 목표 음성과 목표 음성과 밀접히 일치하는 화자 등록(speaker enrolment) 샘플이 균형 있게 포함된다. 그러나 실제 다자간 대화에서는 참가자들이 말하는 시간보다 침묵하는 시간이 더 긴 경우가 많으며, 등록 음성 샘플은 대화 중 목표 음성과 상당히 달라질 수 있다. 이러한 요인들은 실제 대화 녹음에 대해 이러한 기법의 학습과 평가에 영향을 미칠 수 있다. 본 연구는 학습 시 과도한 침묵의 영향을 완화하는 새로운 손실 함수를 제안하며, STOI를 0.55에서 0.60으로, 주파수 가중 구간 SNR(frequency-weighted segmental SNR)을 4.35에서 5.12로 개선한다. 또한 등록 음성과 목표 음성 간 불일치의 영향을 탐구한다.
CHiME-9 ECHI: 청각 장애 해소를 위한 대화 향상 머신러닝 챌린지
CHiME-9 ECHI: A Machine Learning Challenge for Enhancing Conversations to Address Hearing Impairment
이 연구는 청각 장애(Hearing Impairment)를 해소하기 위한 대화 향상(Enhancing Conversations) CHiME-9 챌린지의 과제와 결과를 소개한다. 이 챌린지는 방해 음성원과 효과음이 존재하는 시끄러운 카페테리아 형태의 환경에서 이루어지는 4인 대화 시나리오를 다룬다. 참가자에게는 Meta Aria 글래스와 보청기 마이크로 녹음한 오디오 녹음본과, 대화 참여자들의 깨끗한 음성 샘플이 제공된다. 과제는 음성의 명료도와 품질을 향상시키는 것을 목표로, 잡음이 섞인 다채널 녹음에서 대화 상대의 음성을 추출하는 것이며, 객관적 지표와 주관적 청취 테스트를 사용해 평가한다. 본 논문은 7개 팀의 제출물을 검토하고, 주관적 명료도와 품질을 종합하여 순위를 매긴다. 결과에 따르면 객관적 지표는 청취자의 성능을 반영하지 못했지만, 상위 시스템들은 명료도와 품질 평가 모두에서 챌린지 기준선(baseline) 대비 상당한 향상을 달성했다.
VQ-Touch: 센서 및 시나리오를 아우르는 데이터 효율적 촉각 생성 프레임워크
VQ-Touch: A Data-Efficient Tactile Generation Framework Across Sensors and Scenarios
촉각 이미지 생성은 고품질 촉각 데이터를 합성함으로써 비용이 많이 들고 마모에 취약한 센서에 대한 의존성을 크게 줄여, 로봇 지각 및 인간-기계 상호작용 시스템에서 촉각 정보 획득을 위한 효율적인 해결책을 제공한다. 그러나 기존 방법들은 특정 센서로부터의 대규모·다양한 데이터셋에 의존하며 효율적인 데이터 활용과 견고한 일반화 능력이 부족하여, 시각 정보가 제한된 환경에서 어려움을 겪는다. 이를 해결하기 위해, 교차 센서 및 다중 시나리오 응용을 모두 지원하는 촉각 생성 프레임워크인 VQ-Touch를 제안한다. 구체적으로, 데이터로부터 복잡한 변형 및 질감 특징을 효율적으로 추출하기 위해 효과적인 촉각 표현 학습기인 DM-VQGAN을 제안한다. 또한 통합 조건화 인터페이스를 갖춘 이산 확산 디코더를 도입하여 이미지 및 레이블과 같은 멀티모달 생성 작업을 지원하고, 퓨샷(few-shot) 혼합 학습을 통해 모델의 일반화 능력을 향상시켜 현재 주류 센서 및 그 변형과의 호환성을 달성한다. 실험 결과, VQ-Touch는 여러 작업에서 최신(state-of-the-art) 방법들을 능가한다.
SNRGAN: The Semi Noise Reduction GAN for Image Denoising
D²Net: A Denoising and Dereverberation Network Based on Two-branch Encoder and Dual-path Transformer
Content-Noise Complementary Learning for Medical Image Denoising
토론
이 논문과 연결된 포럼 글이 아직 없습니다.