arXiv:1811.05760

A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content

Bhattacharya Aniruddha, Kadambari K. V.

제출 2018-10-10

원문 초록

We propose MoodNet - A Deep Convolutional Neural Network based architecture to effectively predict the emotion associated with a piece of music given its audio and lyrical content.We evaluate different architectures consisting of varying number of two-dimensional convolutional and subsampling layers,followed by dense layers.We use Mel-Spectrograms to represent the audio content and word embeddings-specifically 100 dimensional word vectors, to represent the textual content represented by the lyrics.We feed input data from both modalities to our MoodNet architecture.The output from both the modalities are then fused as a fully connected layer and softmax classfier is used to predict the category of emotion.Using F1-score as our metric,our results show excellent performance of MoodNet over the two datasets we experimented on-The MIREX Multimodal dataset and the Million Song Dataset.Our experiments reflect the hypothesis that more complex models perform better with more training data.We also observe that lyrics outperform audio as a better expressed modality and conclude that combining and using features from multiple modalities for prediction tasks result in superior performance in comparison to using a single modality as input.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.06616v2cs.CL공통 태그 Emotion Recognition, Word Embeddings

LLM 파생 임베딩을 이용한 소셜 미디어 텍스트 기반 해석 가능한 우울증 탐지

Interpretable Depression Detection from Social Media Text Using LLM-Derived Embeddings

소셜 미디어에서 우울적 언어를 정확하고 해석 가능하게 탐지하는 것은 정신 건강 상태의 조기 식별을 지원하고 시의적절한 개입에 도움을 줄 수 있다. 본 논문에서는 소셜 미디어 기반 정신 건강 예측 과제 세 가지—이진 우울증 분류, 우울증 심각도 분류, 우울증·PTSD·불안 간 감별 진단—에 대해 대규모 언어 모델(LLM)과 전통적 기계학습 분류기의 사용을 조사한다. 제로샷 LLM을 기존 텍스트 임베딩, 심리언어학적 특징, LLM이 생성한 정신 건강 요약에서 파생된 임베딩으로 학습한 지도 분류기와 비교한다. 여러 공개 소셜 미디어 텍스트 데이터셋과 5-fold 교차 검증 실험을 통해, 제로샷 LLM은 이진 우울증 분류에서 강한 성능과 일반화를 보이지만 세밀한 심각도 예측에서는 어려움을 겪는다는 것을 확인했다. 반면 LLM 요약 임베딩으로 학습한 지도 모델은 특히 다중 클래스 및 순서형 분류 과제에서 더 정확하고 일관된 성능을 달성하는 경우가 많다. 이러한 결과는 정신 건강 예측에서 현재 LLM의 강점과 한계를 모두 부각하며, LLM을 end-to-end 분류기로만 사용하기보다 의미론적 해석기로 활용하는 것이 더 효과적이고 해석 가능한 정신 건강 평가 시스템 구축을 위한 유망한 방향이 될 수 있음을 시사한다.

arXiv:2606.29068v1cs.CL공통 태그 Emotion Recognition, Word Embeddings

심리적 감정 이론 전반에 걸친 텍스트 임베딩의 감정 단서 비교 연구

A Comparative Study on Affective Cues in Text Embeddings Across Psychological Emotion Theories

텍스트 인코더는 입력을 밀집 벡터로 효율적으로 압축하면서 의미를 보존하는 능력 덕분에 자연어 처리(NLP)에서 널리 활용되고 있다. 이러한 모델들은 감성 컴퓨팅(affective computing)에도 적용되어 감성 분석(sentiment analysis) 및 감정 인식 과제 해결에 기여해 왔다. 그러나 현대 텍스트 인코더가 생성하는 잠재 표현이 심리학적으로 잘 정의된 감정 이론을 어느 정도까지 포착하는지는 여전히 불분명하다. 본 연구에서는 최근 공개된 12개의 텍스트 인코더의 감정 표현 능력을 조사하기 위해, 이들이 생성한 임베딩을 입력 특징으로 사용하여 단어 수준 및 문장 수준 데이터를 대상으로 세 가지 확립된 감정 프레임워크에 걸쳐 회귀 및 분류(classification) 과제를 수행하였다. 또한 단어 수준 평가의 강건성을 높이기 위해 의미론적 데이터 누출 방지 기법을 적용하였다. 주요 연구 결과에 따르면, 최신 인스트럭션 인식 오픈 가중치(open-weight) 인코더의 잠재 다양체는 단어 수준 평가에서 독점 모델과 동등하거나 오히려 더 많은 양의 감정 정보를 포함하는 것으로 나타났다. 반면, 과제 튜닝 및 독점 인코더의 임베딩은 문장 수준 감정 분류에서 가장 높은 점수를 기록하였다. 더불어 잠재 표현과 그에 인코딩된 감정 단서에 대한 정성적 분석도 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.