CoLMbo-SV: 설명 가능한 화자 검증을 위한 그라운딩된 언어 모델
CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification
한국어 초록
화자 검증(speaker verification) 시스템은 높은 정확도를 달성하지만, 판단의 근거가 되는 음향적 증거에 대해서는 거의 설명을 제공하지 않습니다. 이러한 시스템을 검사 가능하게 만들기 위해서는, 결정의 근거가 되는 더 풍부한 정보를 유지하면서도 해석 가능한 증거를 노출시켜야 합니다. 우리는 강력한 화자 판별력과 구조화되고 음향적으로 근거를 둔(acoustically grounded) 비교 리포트를 결합한 화자 언어 모델인 CoLMbo-SV를 제안합니다. 사전학습된 화자 인코더(speaker encoder)를 언어 모델에 연결하고 명시적인 음향 측정값을 제공함으로써, CoLMbo-SV는 음성 비교를 검사 가능하게 만들면서도 검증을 리포트에서 언어로 표현된 증거만으로 제한하지 않습니다. 또한 우리는 측정된 음향적 속성과, 수치적·질적 검증을 거쳐 필터링된 비교 리포트가 쌍으로 구성된 녹음 데이터인 VoxReason을 소개하며, 이는 이러한 결합된 능력에 대한 지도학습(supervision)을 제공합니다. 우리는 또한 화자 표현(speaker representation)이 인코딩하는 음향 정보, 검증 점수에 영향을 미치는 요소, 그리고 생성된 리포트가 다루는 내용을 구분하는 평가 프레임워크를 개발했습니다. VoxCeleb1-O에서 CoLMbo-SV는 0.99%의 EER(Equal Error Rate)을 달성하여, VoxReason으로 파인튜닝된 가장 강력한 오디오-언어 기준선(baseline) 대비 검증 오류를 약 80% 감소시켰으며, 0.82의 수치적 그라운딩(numerical-grounding) 점수를 기록했습니다. 추가 분석을 통해 음향적 정확성과 결정 관련성이 설명(explanation)의 서로 다른 속성임을 보여주었으며, 이는 수치적 그라운딩 지표가 포착하지 못하는 격차를 드러냅니다. 이러한 기여들은 종합적으로 오디오-언어 화자 검증을 크게 발전시키고, 그 정확도를 전용 화자 인코더 수준으로 끌어올리는 동시에 검증 가능한 음향 리포팅을 추가하며, 자연어 설명을 그것이 설명하는 결정과 연결하는 실증적 프레임워크를 확립합니다.
원문 초록
Speaker verification systems achieve high accuracy but provide little account of the acoustic evidence behind their judgments. Making these systems inspectable requires exposing interpretable evidence while retaining the richer information on which their decisions depend. We present \textbf{CoLMbo-SV}, a speaker language model that combines strong speaker discrimination with structured, acoustically grounded comparison reports. By connecting a pretrained speaker encoder to a language model and supplying explicit acoustic measurements, CoLMbo-SV makes voice comparisons inspectable without restricting verification to the evidence verbalized in its reports. We additionally introduce \textbf{VoxReason}, paired recordings with measured acoustic properties and comparison reports filtered through numerical and qualitative checks, providing supervision for this combined capability. We also develop an evaluation framework that separates what acoustic information a speaker representation encodes, what influences the verification score, and what the generated report discusses. On VoxCeleb1-O, CoLMbo-SV achieves 0.99\% EER, reducing verification error by approximately 80\% relative to the strongest audio-language baseline fine-tuned on VoxReason, while attaining a numerical-grounding score of 0.82. Our analysis further demonstrates that acoustic correctness and decision relevance are distinct properties of an explanation, exposing a gap that numerical-grounding metrics miss. Together, these contributions substantially advance audio-language speaker verification, bring its accuracy toward that of dedicated speaker encoders while adding checkable acoustic reporting, and establish an empirical framework for connecting natural-language explanations to the decisions they explain.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.