어노테이션 불확실성으로부터의 학습: 음성 감정 인식을 위한 엔트로피 인식 커리큘럼
Learning from Annotation Uncertainty: Entropy-Aware Curriculum for Speech Emotion Recognition
한국어 초록
음성 감정 인식(SER)은 종종 어노테이터 간 의견 불일치를 무시하는 강한(hard) 합의 레이블에 의존하는 경우가 많다. 본 연구는 범주형 감정과 차원형 VAD를 위한 WavLM-Base 멀티태스크 모델을 사용하여 MSP-Podcast 2.0에서 9-class SER에 대한 분포 기반 지도(supervision)를 조사한다. 강한 레이블(hard-label) 학습은 1차 어노테이터 및 1차–2차 어노테이터 투표 분포를 병합한 분포로부터의 타깃과 비교된다. 분포 기반 목적 함수는 사람의 투표 분포와의 정렬(alignment)을 개선하여, 강한 레이블 학습 대비 JSD/KLD를 감소시킨다. 분석 결과, 강한 지도(hard supervision)는 모호한 발화를 잔여 Other 클래스에 할당함으로써 부분적으로 이득을 얻는 반면, 분포 기반 지도는 불확실성을 감정 범주 전반에 재분배한다. 엔트로피 계층화 평가(entropy-stratified evaluation)는 고모호성 발화가 여전히 어렵다는 것을 보여주지만, 분포 기반 지도는 지각적(perceptual) 불확실성을 더 잘 포착한다. 이러한 발견은 강한 레이블을 넘어 청취자 간 의견 불일치를 반영하는 타깃으로 나아가는 것을 뒷받침한다.
원문 초록
Speech emotion recognition (SER) often relies on hard consensus labels that collapse annotator disagreement. We study distribution-based supervision for 9-class SER on MSP-Podcast 2.0 using a WavLM-Base multitask model for categorical emotion and dimensional VAD. Hard-label training is compared with targets from primary and merged primary--secondary annotator vote distributions. Distributional objectives improve alignment with human vote distributions, reducing JSD/KLD relative to hard-label training. Analysis shows that hard supervision partly benefits from assigning ambiguous utterances to the residual Other class, whereas distributional supervision redistributes uncertainty across emotion categories. Entropy-stratified evaluation shows that high-ambiguity utterances remain challenging, but distribution-based supervision better captures perceptual uncertainty. These findings support moving beyond hard labels toward targets that reflect listener disagreement.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27536v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
방보다 더 조용하게: 음성 인코더의 표현 드리프트와 태스크 견고성
Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
비음성 간섭은 그에 상응하는 태스크 성능 저하 없이도 음성 표현을 변화시킬 수 있다. 우리는 고정된(frozen) 인코더 8개를 4가지 태스크에서 시험하며, 녹음 전체에 걸쳐, 발화 중에, 또는 휴지(pause) 구간에 비음성 소리를 추가한다. 녹음 전체에 간섭을 가한 경우, 임베딩 드리프트(embedding drift)는 7가지 소리에 걸쳐 태스크 손실과 함께 변하며, 평균 스피어만 상관계수는 0.81-0.88이다. 동일한 소리를 발화 구간과 휴지 구간 사이에서 옮기면 이러한 양상이 달라진다. 조용한 수준에서 중간 수준의 간섭에서는 휴지 구간 간섭이 더 큰 드리프트를 일으키는 반면, 발화 구간 간섭은 의도 인식, 화자 검증, 음성 인식에서 대체로 더 큰 손실을 초래한다. 감정 인식에서는 삽입 위치의 효과가 더 약하게 나타난다. 또한 휴지 구간 간섭은 간섭이 삽입된 구간을 넘어 음성 프레임 표현까지 변화시킨다. 추정된 녹음 배경 소음 수준보다 낮은 간섭이라 하더라도, 반복 발화 녹음(repeated speech takes) 사이의 차이만큼 임베딩을 크게 변화시킬 수 있다. 드리프트는 서로 다른 소리가 미치는 영향의 순위를 매기는 데에는 도움이 되지만, 더 큰 드리프트가 항상 더 큰 태스크 손실을 의미하는 것은 아니다.
3채널 점수 충돌에서의 통제된 정보 획득과 판단 보류
Controlled Acquisition and Abstention in Three-Channel Score Conflicts
오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.
FRAUDSkill: 오디오 사기 방지 탐지를 위한 구조화된 가중치 고정 스킬 최적화
FRAUDSkill: Structured Frozen-Weight Skill Optimization for Audio Anti-Fraud Detection
대규모 오디오-언어 모델(large audio-language model)은 음성을 직접 처리하고 사기 관련 증거를 바탕으로 추론함으로써 사기 방지 탐지에서 가능성을 보여 왔다. 그러나 이러한 모델을 실제로 배포하려면 예측이 사전에 정의된 레이블 공간과, 서비스 시나리오 식별, 사기 탐지, 조건부 사기 유형 분류로 이루어진 구조화된 의사결정 프로토콜을 따라야 한다. 기존의 미세조정 및 프롬프트 기반 접근법은 일반적으로 태스크 지식, 제약 조건, 의사결정 규칙을 모델 파라미터나 수동으로 관리되는 프롬프트에 인코딩하기 때문에, 사기 패턴과 레이블링 정책이 변화함에 따라 이에 적응하기가 어렵다. 이를 해결하기 위해 본 논문에서는 기반 오디오-언어 모델을 변경하지 않고 그대로 두면서, 스킬 프로그램(skill program), 경로별 정책(route-specific policy), 의사결정 규칙으로 이루어진 외부 층을 최적화하는 구조화된 가중치 고정(frozen-weight) 적응 프레임워크인 FRAUDSkill을 제안한다. 또한 프로토콜을 준수하는 예측을 보장하기 위해 구조화된 출력 제어를 검증 기반 다중 경로 추론과 결합한다. TeleAntiFraud 벤치마크에서 FRAUDSkill은 Macro-F1 73.50%를 달성하여, 공유 가중치 고정 모델 기준선보다 31.96% 높은 성능을 보였으며 유효하지 않은 출력 비율은 1.94%로 감소했다. 광범위한 실험을 통해, 외부 스킬 최적화가 기반 모델을 수정하지 않고도 구조화된 오디오 사기 방지 탐지를 위한 효과적이며 적응 가능한 해결책이 됨을 확인하였다. 소스 코드는 https://anonymous.4open.science/r/FRAUDSKILL-114514 에서 확인할 수 있다.
생물 다양성 모니터링을 위한 능동 학습: 라벨 효율에서 신뢰 가능한 생태학적 추론까지
Active Learning for Biodiversity Monitoring: From Label Efficiency to Reliable Ecological Inference
전문가 어노테이션 역량의 한계는 생물 다양성 모니터링에서 흔한 제약이다. 수동 음향 기록 장치와 카메라 트랩은 전문가가 분석할 수 있는 속도보다 빠르게 데이터를 생성한다. 기계 학습(ML) 모델은 이러한 데이터를 대규모로 처리할 수 있지만, 그 신뢰성은 라벨이 붙은 표본의 품질, 양, 커버리지에 달려 있어 전문가 시간은 여전히 병목이다. 능동 학습(active learning, AL)은 고정된 어노테이션 예산 하에서 모델을 가장 크게 개선할 것으로 기대되는 표본을 선택함으로씨 이 병목을 완화하며, 발표된 근거에 따르면 목표 성능에 도달하는 데 필요한 라벨 수를 줄일 수 있다. 그러나 모니터링 프로그램은 더 넓은 질문에 직면한다: 제한된 전문가 예산을 어떻게 나누어야 모델 학습, 검증, 그리고 모델 출력에 기반한 생태 추정이 모두 신뢰 가능하게 유지되는가? AL은 표본을 비무작위로 선택하므로, 그 라벨은 검증, 보정(calibration), 또는 임계값 선택에 적합하지 않으며, 이 긴장은 드물게 인식된다. 우리는 음향 및 영상 양식에 걸친 AL 연구를 종합하고 공백과 기회를 식별한다. 대부분의 연구는 시뮬레이션 어노테이터를 사용한 사전 라벨 벤치마크에서 쿼리 전략을 평가하며, 실제 모니터링 워크플로에서의 배포는 드물고 조류와 고래류에 집중되어 있다. 박쥐, 곤충, 양서류, 어류는 과소 대표되며, 멀티모달 응용은 대체로 미탐색 상태이다. 평가는 어노테이션 노력의 헤드라인 감소에 초점을 맞추는 경우가 많고, 무작위 샘플링 베이스라인, 클래스별 결과, 또는 보정 분석 없이, 검증에 필요한 라벨을 거의 반영하지 않는다. 우리는 이러한 예산 결정을 명시적으로 드러내는 AL 루프에 대한 튜토리얼적 정리를 제공하고, 라벨 효율적 학습, 검증, 신뢰할 수 있는 하류 생태학적 추론을 지원하는 AL 방법을 향한 로드맵을 제시한다.
Speech Emotion Recognition Based on Self-Attention Weight Correction for Acoustic and Text Features
TASK AWARE MULTI-TASK LEARNING FOR SPEECH TO TEXT TASKS
토론
이 논문과 연결된 포럼 글이 아직 없습니다.