arXiv:1808.00876

Normalization Before Shaking Toward Learning Symmetrically Distributed Representation Without Margin in Speech Emotion Recognition

Che-Wei Huang, Shrikanth. S. Narayanan

제출 2018-08-02

원문 초록

Regularization is crucial to the success of many practical deep learning models, in particular in a more often than not scenario where there are only a few to a moderate number of accessible training samples. In addition to weight decay, data augmentation and dropout, regularization based on multi-branch architectures, such as Shake-Shake regularization, has been proven successful in many applications and attracted more and more attention. However, beyond model-based representation augmentation, it is unclear how Shake-Shake regularization helps to provide further improvement on classification tasks, let alone the baffling interaction between batch normalization and shaking. In this work, we present our investigation on Shake-Shake regularization, drawing connections to the vicinal risk minimization principle and discriminative feature learning in verification tasks. Furthermore, we identify a strong resemblance between batch normalized residual blocks and batch normalized recurrent neural networks, where both of them share a similar convergence behavior, which could be mitigated by a proper initialization of batch normalization. Based on the findings, our experiments on speech emotion recognition demonstrate simultaneously an improvement on the classification accuracy and a reduction on the generalization gap both with statistical significance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09816v4cs.LG공통 태그 Data Augmentation, General Classification

RUBRIC: 불균형 분류를 위한 사실성-효용 균형 순위화

RUBRIC: Realism--Utility Balanced Ranking for Imbalanced Classification

클래스 불균형은 사기 탐지 및 의료 진단과 같이 소수 클래스 샘플이 희소하지만 정확한 분류에 결정적인 위험 민감 응용 분야에서 근본적인 문제를 야기합니다. 기존 오버샘플링(oversampling) 기법들은 클래스 분포의 균형을 맞추기 위해 합성 샘플을 생성하지만, 결정 경계를 왜곡하거나 인위적 아티팩트를 도입하는 저품질 후보를 대량 생성하여 과적합과 일반화 성능 저하를 초래하는 경우가 많습니다. 본 연구에서는 합성 샘플 선택을 '양보다 질' 최적화 문제로 정형화하는 생성기 무관(generator-agnostic) 필터링 프레임워크인 \textbf{RUBRIC}을 소개합니다. RUBRIC은 사실성-효용 트레이드오프를 활용하여 후보들의 순위를 매깁니다. 사실성은 각 후보가 실제 소수 클래스 샘플과 닮은 정도로부터 신경 밀도비 판별자(neural density-ratio discriminator)를 통해 추정되며, 효용은 오목한 마진 기반 점수 함수 $g_-(t)=-\log(1+e^{-t/τ})$를 통해 결정 경계와의 근접성을 포착합니다. 판별자는 모든 벤치마크에서 동일한 아키텍처와 학습 프로토콜을 사용하며, 각 데이터셋의 실제 소수 클래스 대 합성 풀에 대해 독립적으로 적합됩니다. 본 연구에서는 온건한 정규성 조건 하에서, 제안된 필터링 프레임워크가 분포 변화(distribution shift)를 줄이고 준음성 꼬리(near-negative tail) 기여를 억제함으로써 마진 기반 분류기의 일반화 한계(generalization bound)를 단조롭게 강화함을 보입니다. 표준 공개 불균형 분류 벤치마크에 대한 광범위한 실험을 통해, RUBRIC이 여러 데이터 생성기에 걸쳐 전반적인 판별 능력을 유지하면서 소수 클래스 재현율을 향상시킴을 입증합니다. $λ$ 및 선택 예산 $K$에 대한 민감도 분석은 순위화 품질 중심의 성능 트레이드오프를 더욱 명확히 규명합니다.

arXiv:2609.26422v1cs.CL공통 태그 Emotion Recognition, Speech Emotion Recognition

대화 맥락을 활용한 음성 감정 표현 보강

Enriching Speech Emotion Representations with Conversational Context

감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.

arXiv:2609.24384v1cs.CV공통 태그 Data Augmentation, General Classification

손으로 그린 기하학적 도형의 실시간 인식을 위한 경량 합성곱 신경망

A Lightweight Convolutional Neural Network for Real-Time Recognition of Hand-Drawn Geometric Shapes

손으로 그린 기하학적 도형을 인식하는 것은 스케치 인식의 기초적인 하위 문제로, 교육, 인간-컴퓨터 상호작용(HCI), 다이어그램 디지털화 등에 응용될 수 있다. 본 논문에서는 소형 합성곱 신경망(CNN)을 사용하여 원, 정사각형, 직사각형, 삼각형의 네 가지 기본 손그림 기하학적 도형을 인식하는 데스크톱 애플리케이션의 설계, 구현 및 평가를 제시한다. 라벨링된 28x28 픽셀 크기의 도형 이미지 2,000개로 구성된 데이터셋을 독립적으로 수집하여 공개하였다. 분류기는 맥스 풀링을 포함하는 3개의 합성곱 블록(16, 32, 64개 필터), 모델 내 데이터 증강 단계(무작위 좌우 반전, 회전 및 확대), 드롭아웃 정규화가 적용된 128개 유닛의 완전 연결층, 그리고 4방향 선형 출력층으로 구성되어 총 97,956개의 학습 가능한 파라미터를 가진다. 해당 신경망은 로짓(logits)에서 직접 계산되는 희소 범주형 교차 엔트로피(sparse categorical cross-entropy) 목적 함수를 바탕으로 Adam 옵티마이저를 통해 학습된다. 80/20의 학습-검증 분할에서 이 모델은 0.1437의 검증 손실과 함께 94.80%의 학습 정확도 및 96.01%의 검증 정확도를 달성한다. Tkinter 기반 그래픽 인터페이스를 통해 사용자는 마우스로 도형을 그리고 신뢰도 점수와 함께 즉각적인 클래스 예측 결과를 확인할 수 있다. 본 연구에서는 이 시스템을 보다 광범위한 스케치 및 도형 인식 문헌에 위치시키고, 관련 손그림 도형 분류 연구들과 정확도를 비교하며, 소규모 단일 기여자 데이터셋에 내재된 한계점을 논의한다. 재현성을 지원하기 위해 전체 소스 코드, 학습된 모델, 클래스별 데이터셋을 공개한다.

arXiv:2607.22304v1cs.LG공통 태그 Data Augmentation, Emotion Recognition

합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.

arXiv:2607.10860v1cs.CV공통 태그 Data Augmentation, Emotion Recognition

미세표정 인식을 위한 행동 단위(AU) 기반 합성 비디오 생성

AU-Guided Synthetic Video Generation for Micro-Expression Recognition

미세표정 인식은 기존 데이터셋의 소규모, 좁은 인구통계학적 범위, 제한된 감정 레이블로 인해 한계가 있다. 우리는 AU 기반 이미지-투-비디오 생성으로 구축된 합성 미세표정 데이터셋인 EquiME를 소개한다. EquiME는 다섯 가지 목표 감정에 걸쳐 15K개의 소스 얼굴 이미지로부터 생성된 75K개의 비디오를 포함하며, 자동으로 추론된 인구통계학적 메타데이터와 비디오 품질 측정값도 함께 제공된다. 우리는 프레임 쌍 유사도, 공간 변화, 무참조 지각 품질 메트릭과 함께 SAMM 및 CASME II에 대한 교차 데이터셋 미세표정 인식(MER) 실험을 통해 EquiME를 평가한다. EquiME로 학습된 모델은 SAMM 및 CASME II에서 경쟁력 있는 교차 데이터셋 성능을 달성하며, 평가된 네 가지 아키텍처 전반에 걸쳐 비교적 낮은 변동성을 보인다. 본 논문은 데이터셋 설계, 비디오 생성에 사용된 구조화된 AU 조건화 파이프라인, 그리고 EquiME를 합성 MER 자원으로 평가하는 데 필요한 실증적 근거에 초점을 맞춘다. 프로젝트 페이지: https://kirito-blade.github.io/me-vlm/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.