arXiv:2608.30204v1 cs.CL

모델이 기대하는 것을 들을 때: 멀티모달 풍자 탐지에서 운율 휴리스틱 진단

When Models Hear What They Expect: Diagnosing Prosodic Heuristics in Multimodal Sarcasm Detection

Yongjian Chen, Pengfei Wei, Yiqun Sun, Zhu Li, Lawrence B. Hsieh

제출 2026-08-31

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 음성과 텍스트를 함께 처리하지만, 화용론적 추론(pragmatic inference)을 위해 운율 단서를 활용하는지, 아니면 표면적인 음향 패턴에 의존하는지는 체계적으로 연구된 바가 거의 없다. 본 연구는 풍자 탐지를 통해 이 문제를 다룬다. Qwen2.5-Omni와 Qwen3-Omni를 대상으로 중국어(만다린)와 영어에서, 어휘적 내용, 음성 의미론(vocal semantics), 운율 구조의 기여를 분해하는 다섯 가지 모달리티 조건 하에서 평가한다. 오디오를 추가하면 참양성(true positive) 탐지는 개선되지 않으면서 거짓양성(false positive)만 체계적으로 증가한다. 음향 오류 진단 결과, 모델의 오류는 높은 음높이와 불규칙한 휴지(pausing)라는, 표현적 운율에 대한 공통된 고정관념에 집중되며, 이는 두 언어에서 풍자를 실제로 나타내는 단서와 다르다. 이 두 차원만을 표적으로 조작하면 이 휴리스틱이 인과적으로 확인되어, 최대 60%의 거짓양성률이 유발된다. 동일한 조작 템플릿을 수정 없이 Gemini 3 Flash Preview에 적용해도 같은 효과가 재현되며, 이는 이러한 고정관념이 단일 모델 아키텍처에서 비롯된 것이 아니라 Qwen Omni 계열을 넘어 확장됨을 시사한다.

원문 초록

Multimodal Large Language Models (MLLMs) process speech and text jointly, yet whether they exploit prosodic cues for pragmatic inference or rely on surface acoustic patterns has received little systematic investigation. We address this through sarcasm detection, evaluating Qwen2.5-Omni and Qwen3-Omni on Mandarin Chinese and English under five modality conditions that decompose the contributions of lexical content, vocal semantics, and prosodic structure. Adding audio systematically inflates false positives without improving true positive detection. Acoustic error diagnosis reveals that model errors cluster on a shared stereotype of expressive prosody, namely elevated pitch and irregular pausing, that diverges from the actual cues marking sarcasm in both languages. Targeted manipulation of only these two dimensions causally confirms the heuristic, inducing false positive rates of up to 60%. Applying the same manipulation template to Gemini~3 Flash Preview without modification replicates the effect, suggesting that the stereotype extends beyond the Qwen Omni family rather than arising from a single model architecture.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.30204v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.