다중 레이블 집합 예측으로서의 코드 스위칭 음성 언어 식별
Code-Switching Spoken Language Identification as Multi-Label Set Prediction
한국어 초록
코드 스위칭(CS) 음성은 대규모 음성 코퍼스를 구축하는 데 사용되는 단일 언어 언어 식별(LID) 필터를 통과해 누출되므로, CS를 인식하는 LID(CS-LID)가 필요합니다. 본 논문에서는 발화 수준의 CS-LID를 다중 레이블 언어 집합 예측으로 정형화하고, 발화에 포함된 언어를 직접 출력하는 집합 생성기를 제안하며, 이를 원자적 쌍(atomic-pair) 및 점수 기반 분류(classification) 기준선(baseline)과 비교합니다. 오라클 Top-k가 가장 강력한 기준선이지만, 단일 임계값으로는 CS와 단일 언어 음성을 분리할 수 없어 임계값 설정(thresholding) 방식은 실패합니다. 제안하는 집합 생성기는 언어 수를 가정하지 않고도 보지 못한 쌍에 대해 올바른 언어 수를 예측하지만, 정확한 집합 정확도에서는 오라클 Top-k보다 낮은 성능을 보입니다. 분석 결과, 오라클 집합 크기(cardinality), 임계값 불안정성, CS 학습(training) 데이터의 언어 바이어스(bias), 합성 데이터와 실제 데이터 간의 격차(synthetic-to-real gap)가 강건한 CS-LID를 가로막는 주요 장애 요인임을 확인했습니다.
원문 초록
Code-switched (CS) speech leaks through the monolingual language identification (LID) filters used to curate massive speech corpora, calling for CS-aware LID (CS-LID). We formulate utterance-level CS-LID as multi-label language-set prediction and propose a set generator that directly outputs the languages in an utterance, comparing it against atomic-pair and score-based classification baselines. Oracle Top-k is the strongest baseline, but thresholding fails because no single threshold separates CS from monolingual speech. Our set generator predicts the correct language count on unseen pairs without assuming the number of languages, but underperforms oracle Top-k in exact set accuracy. Our analysis identifies the key obstacles to robust CS-LID: oracle cardinality, threshold instability, language bias in CS training data, and the synthetic-to-real gap.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at IEEE SLT 2026