PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38232v2cs.SD

음성 에이전트는 언제 행동하기에 충분한 증거를 갖추는가? PACT-SLM 계약 테스트

When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test

스트리밍 음성 에이전트(agent)는 너무 이른 시점에 행동한 후에도 올바른 최종 행동을 생성할 수 있습니다. 최종 턴 점수는 관찰된 각 음성 접두 문맥(prefix)이 노출된 행동을 뒷받침하는지 여부를 드러내지 못합니다. 본 논문에서는 최초의 유효 행동 시점을 지정하고 행동의 일치 여부와 타이밍을 모두 평가하는 통제된 테스트인 음성 언어 모델의 턴 테이킹을 위한 부분 음성 행동 계약(PACT-SLM)을 소개합니다. 주요 테스트에서는 4개의 미확인(held-out) 의미 계열에서 추출한 80개의 쌍을 이룬 대조군을 통해 클린 환경 및 15dB 노이즈 렌더링에 걸쳐 1,600개의 접두 문맥 예측을 도출합니다. 균형을 맞춘 브랜치 코드 대신 소스 발화 의미 목표를 사용하여 WavLM Base Plus는 26.03%의 풀링된 시작 후(post-onset) 의미 레이블 정확도(95% 그룹 부트스트랩 구간 [22.14%, 29.68%])를 달성하고, 시작 전(pre-onset) 접두 문맥의 18.99%에서 행동을 노출하며, 완전한 궤적의 5.94%를 정확하게 예측합니다. 해당 모델의 풀링된 레이블 점수는 접두 문맥 내 100개 레이블 순열 중 96번째 백분위수에 해당하며, 97.5번째 백분위수 기준치(26.73%)를 밑돕니다. 이 모델은 풀링된 시작 후 레이블 정확도에서 매칭된 텍스트, 스칼라-음향 및 셔플된 표현 프로브를 능가합니다. 경과 시간은 시작 시점 정확도가 더 높지만(23.13% 대비 36.25%) 행동 일치도에 대한 정확도는 더 낮습니다(26.03% 대비 9.92%). 이러한 결과는 부분 음성 평가에서 행동의 일치 여부와 시작 타이밍을 별도로 측정해야 함을 시사합니다.

arXiv:2603.27001v2eess.AS

PHONOS: 온라인 스트리밍 응용을 위한 음성학적 중화

PHONOS: PHOnetic Neutralization for Online Streaming Applications

화자 익명화(SA) 시스템은 지역적 또는 비원어민 억양 단서는 그대로 두면서 음색(timbre)만 바꾸는데, 이러한 단서가 화자의 모국어나 지리적 배경을 드러내고 익명 집합을 좁힐 수 있어 문제가 된다. 이 문제를 해결하기 위해 실시간 SA를 위한 스트리밍 모듈인 PHONOS를 제안한다. PHONOS는 프라이버시 관점에서 억양 중화를 수행하며, 비원어민 분절음(segmental) 실현을 선택한 목표 억양 영역으로 변환하여 억양 기원 단서를 줄인다. 우리 접근법은 무음 인식 DTW 정렬과 제로샷(zero-shot) 음성 변환을 사용하여 외국어 분절음을 원어민 분절음으로 바꾸되 원본 음색과 리듬은 유지하는 golden speaker 발화를 사전 생성한다. 이 발화는 비원어민 콘텐츠 토큰을 원어민에 해당하는 것으로 매핑하며 최대 40ms look-ahead만 갖는 인과적(causal) 억양 번역기를 지도하며, 교차 엔트로피와 CTC 손실을 결합하여 학습한다. 평가 결과 비원어민 억양 신뢰도가 81% 감소했으며, 청취 테스트의 억양 정도(accentedness) 평점이 이러한 변화와 일치한다. PHONOS는 출력을 임베딩 공간에서 원 화자로부터 멀어지게 하여 임베딩 기반 프록시 하에서 연결 가능성(linkability)이 낮아짐을 시사하며, 단일 GPU에서 end-to-end 지연 시간이 $\leq241\,\mathrm{ms}$로 동작한다.