arXiv:2611.02893v1 cs.SD

음성 네이티브 LLM은 좌절을 듣지만 귀 기울이지는 않는다

Voice-Native LLMs Hear Frustration but Do Not Listen to It

Hanjun Luo, Yuhan Lu, Hanan Salam

제출 2026-11-02

저자 비고

arXiv Comments

27 pages, 14 figures, 30 tables. Data and code: https://github.com/Astarojth/hear-not-listen

한국어 초록

사용자는 말의 내용과 말하는 방식 모두에서 좌절을 드러내며, ASR 전사문 대신 음성을 직접 듣는 음성 네이티브 모델은 이 둘을 모두 인식할 수 있다. 기존 평가는 성능이 변하지 않는 것을 인식 여부를 확인하지 않은 채 강건성으로 해석한다. 우리는 Brunswik의 렌즈 모델에 따라, 동일한 오디오에서 좌절이 표현되는지, 인식되는지, 활용되는지를 측정한다. 353개 과제에 대해 항목 내 2x2 설계로 좌절 어휘와 좌절 음성을 교차시키고, 1,412개 클립을 VoxAffect로 공개한다. 8개 모델 전반에서 출력은 강건해 보이며, 7개 모델에서 정확도에 대한 음성 효과가 검출되지 않았다. 중립적 어휘에서 8개 모델 모두 좌절 음성을 좌절로 분류한 클립은 최대 3.1%였으나, 그중 7개 모델은 연기된 분노를 클립의 73~100%에서 탐지하였고 인간 청취자는 판단의 65.3%에서 음성을 올바르게 분류하였다. 그럼에도 선형 프로브는 오픈 웨이트 모델 2개의 오디오 인코더에서 쌍별 정확도 0.67과 0.69로 좌절 음성을 디코딩하며, 상용 모델에서도 어휘가 일치하면 음성이 인식된 좌절을 높인다. 따라서 모델은 좌절 음성을 듣지만 귀 기울이지는 않으며, 클립의 40~75%에서 인식되는 좌절 어휘에 대한 불변성은 진정한 강건성이다. 우리의 연구는 https://github.com/Astarojth/hear-not-listen 에서 공개되어 있다.

원문 초록

Users convey frustration in what they say and in how they say it, and voice-native models, which hear speech instead of an ASR transcript, can register both. Existing evaluations read unchanged performance as robustness without checking perception. Following Brunswik's lens model, we measure on identical audio whether frustration is expressed, perceived, and utilized. We cross frustrated wording with frustrated voice in a within-item 2x2 design over 353 tasks and release the 1,412 clips as VoxAffect. Across 8 models, outputs look robust, with no detectable vocal effect on accuracy for 7. With neutral wording, all 8 label the frustrated voice frustrated in at most 3.1% of clips, although 7 of them detect acted anger in 73-100% of clips and human listeners classify the voice correctly in 65.3% of judgments. Yet linear probes decode the frustrated voice from the audio encoders of the 2 open-weight models, with paired accuracy 0.67 and 0.69, and in proprietary models too the voice raises perceived frustration once the words agree. The models thus hear the frustrated voice but do not listen to it, whereas their invariance to frustrated wording, perceived in 40-75% of clips, is genuine robustness. Our work is openly accessible at https://github.com/Astarojth/hear-not-listen.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.02893v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.