PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10865v1cs.CL

경로 지정 희소 오토인코더를 통한 언어적 정보와 준언어적 정보의 얽힘 분리

Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders

자기지도 학습(self-supervised learning) 기반 음성 인코더는 공유되고 얽힌 표현 공간 내에 언어적 정보와 준언어적(paralinguistic) 정보를 함께 포함합니다. 본 연구에서는 TopK 희소 오토인코더(sparse autoencoder)를 경로별 지도(route-specific supervision) 및 교차 요인 적대적 학습(cross-factor adversaries)과 결합합니다. 동결된 SPEAR 및 WavLM 인코더 전반에서 독립적인 프로브(probe)를 통해 요인별 유지 및 억제를 확인했습니다. 언어적 정보는 언어 경로에서 더 강하게 유지되는 반면, 화자 신원, 감정, 운율을 포함한 준언어적 요인은 준언어 경로에 유지되고 언어 경로에서는 대폭 감소합니다. LibriSpeech에서 학습된 경로 구성은 표현 측 재학습 없이도 MSP-Podcast에서도 지속됩니다. 특징(feature) 공간에서의 경로 개입은 변경되지 않은 경로가 전달하는 정보를 대부분 보존하면서 교체된 요인을 추가로 전이합니다. 이러한 결과는 인코더, 말뭉치(corpora), 독립 프로브 및 표현 수준 개입 전반에서 일관된 경로 선택적 분리가 이루어짐을 보여줍니다.

arXiv:2607.21820v1cs.SD

오디오 딥페이크 탐지기의 화자 신원 민감도 탐색

Probing Speaker Identity Sensitivity in Audio Deepfake Detectors

오디오 딥페이크 탐지기는 진짜 음성과 합성 음성을 구별하도록 학습되며 표준 벤치마크에서 종종 우수한 성능을 보인다. 그러나 한 데이터셋에서 1% 미만의 오류를 달성하는 동일한 탐지기가 다른 데이터셋에서 평가될 때 오류율이 20배 증가할 수 있다. 우리는 기여 요인 중 하나가 화자 신원 의존(speaker-identity reliance)이라고 주장한다. 표준 학습 코퍼스는 화자 신원과 진짜/합성 레이블을 상관시키며, 이로 인해 탐지기가 합성 아티팩트만이 아니라 화자 관련 단서에 부분적으로 의존할 수 있다. 우리는 Identity Sensitivity Score(ISS)를 제안한다. ISS는 서로 다른 화자 신원 컨텍스트에서 탐지기 출력이 얼마나 변하는지 정량화하는 발화 단위 진단 지표이다. ISS는 추론 시점에 정답 레이블이 필요 없으며, 탐지기 점수와 참조 화자 예시 풀(pool)만으로 계산할 수 있다. 두 개의 탐지기와 두 개의 데이터셋에서, 잘못 분류된 발화는 올바르게 분류된 발화보다 ISS 점수가 29~52배 높으며, ISS만으로도 오분류를 AUC(area-under-curve) 최대 0.954로 예측한다. ISS가 예측 신뢰도의 대리 지표에 그치지 않고 실제로 신원 민감 행동을 포착하는지 검증하기 위해, 우리는 500개 발화에 보이스 변환(voice conversion)을 적용하고 그에 따른 탐지기 점수 변화를 측정한다. ISS에 의해 신원 민감으로 표시된 발화는 안정적(stable)으로 표시된 발화보다 이 조작에 19~30배 더 강하게 반응한다. 이러한 결과는 ISS를 오디오 딥페이크 탐지에서 화자 의존적 실패 분석을 위한 실용적인 추론 시점 진단 도구로 자리매김한다.

arXiv:2606.21343v1eess.AS

텍스트 음성 변환 기반 음성 재구성을 위한 평가 프레임워크

An Evaluation Framework for Text-to-Speech Voice Reconstruction

언어 장애 화자의 TTS 음성 재구성 평가에서 MOS의 민감도·신뢰성 한계를 보완하기 위해, 상황 맥락(situational framing)을 적용한 BWS 주관 평가와 명료성·화자 신원 트레이드오프를 측정하는 이중 참조 분포 기반 객관 지표를 포함한 평가 프레임워크를 제안한다. 193명 화자에 대해 17개 제로샷 TTS 시스템을 평가한 결과, 표준 지표는 저명료성 화자의 재구성 성공을 예측하지 못했지만 제안 프레임워크는 음성 재구성 과제에 맞는 신뢰 가능한 평가를 제공했다.