PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10345v1cs.SD

PC-Mix: 혼합 음성 및 환경음 조건에서의 부분 구성요소 오디오 위변조 탐지

PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions

부분 오디오 위변조(partial audio spoofing)에 관한 최근 연구들은 주로 스튜디오 녹음 음성과 위변조 구간의 시간적 위치 파악에 초점을 맞추고 있다. 그러나 이러한 연구들은 위변조 구간과 정상(bonafide) 구간이 음성 및 환경음 구성요소에 걸쳐 동시에 공존하는 현실적인 조건을 간과하는 경우가 많다. 본 논문에서는 하나 또는 두 오디오 구성요소 모두가 부분적으로 위변조될 수 있는 부분 구성요소 위변조 탐지를 위한 최초의 데이터셋인 PC-Mix를 제안한다. PC-Mix에서는 정상 및 부분 위변조된 환경음 구성요소를 먼저 구성한 후, 기존 부분 위변조 데이터셋의 음성 신호와 혼합하여 하나 또는 두 구성요소 모두가 국소적으로 조작될 수 있는 오디오를 생성한다. 이 설계는 기존 부분 위변조 벤치마크의 두 가지 주요 공백, 즉 음성 부분 위변조 시나리오에서 현실적인 환경음의 부재와 환경음 구성요소에 대한 부분 위변조 탐지의 결여를 해소한다. 또한 표준화된 평가 프로토콜을 수립하고, 음성·환경음·혼합 오디오 전반에 걸친 위변조 탐지를 최적화하는 공동 학습 프레임워크를 설계한다. 실험 결과, 혼합 조건이 탐지 난이도를 높임을 확인하였다. 또한 대상 조건에 맞춰 학습하는 것이 음성 또는 환경음 구성요소로 학습된 모델을 직접 전이하는 것보다 효과적임을 보인다.