PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07309v1cs.SD

음성 감정 인식을 위한 오디오 언어 모델에서의 음향 단서 정렬

Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition

명령어 수행 오디오 언어 모델(Audio Language Models, ALM)은 명시적인 음향 단서로 확장될 수 있으나, 원본 오디오가 이미 존재할 때 이러한 단서가 그라운딩된 방식으로 사용되는지는 여전히 불분명합니다. 본 연구는 표준화된 eGeMAPS 언어 외적 특징 세트에서 6개의 해석 가능한 음향 개념 토큰을 도출하여 음성 감정 인식(Speech Emotion Recognition, SER)에서 이 문제를 연구합니다. 이러한 토큰은 에너지, 피치, 역학, 밝기, 포먼트 및 음질을 요약하며, 오디오 입력은 변경하지 않은 상태로 텍스트 프롬프트에 추가됩니다. 널리 사용되는 FAU-Aibo 및 IEMOCAP 벤치마크에서 정렬된 토큰은 가중치 없는 평균 재현율(Unweighted Average Recall, UAR)을 향상시키는 반면, 섞이거나(shuffled), 충돌하거나, 손상된 토큰은 정렬된 토큰 대비 성능을 저하시키고 혼동을 중립 쪽으로 이동시킵니다. 중요하게도, 강력한 토큰 섭동 하에서도 예측이 붕괴되지 않는데, 이는 모델이 기호적 단서 채널에 민감하면서도 오디오 신호에 부분적으로 고정(anchored)되어 있음을 시사합니다. 우리는 토큰 전용 개입이 ALM 기반 감성 컴퓨팅에서 오디오 기반 단서 활용, 견고성, 해석 가능성을 탐색할 수 있는 실용적인 방법을 제공한다고 주장합니다.