Modeling Feature Representations for Affective Speech using Generative Adversarial Networks
원문 초록
Emotion recognition is a classic field of research with a typical setup extracting features and feeding them through a classifier for prediction. On the other hand, generative models jointly capture the distributional relationship between emotions and the feature profiles. Relatively recently, Generative Adversarial Networks (GANs) have surfaced as a new class of generative models and have shown considerable success in modeling distributions in the fields of computer vision and natural language understanding. In this work, we experiment with variants of GAN architectures to generate feature vectors corresponding to an emotion in two ways: (i) A generator is trained with samples from a mixture prior. Each mixture component corresponds to an emotional class and can be sampled to generate features from the corresponding emotion. (ii) A one-hot vector corresponding to an emotion can be explicitly used to generate the features. We perform analysis on such models and also propose different metrics used to measure the performance of the GAN models in their ability to generate realistic synthetic samples. Apart from evaluation on a given dataset of interest, we perform a cross-corpus study where we study the utility of the synthetic samples as additional training data in low resource conditions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
REFLECT: 감성, 감정, 공손함, 격식성에 대한 역할 인식 탐지
REFLECT: Role-Aware Detection of Sentiment, Emotion, Politeness, and Formality
대화에서 의사소통적 의미를 탐지하기 위해서는 어휘적 내용뿐 아니라 감성, 감정, 공손함, 격식성(SEPF)이 표현되는 참여자 역할 구조도 모델링해야 한다. 기존 접근법들은 문맥적 언어 표현에 의존하면서 의미역(semantic role)은 암묵적으로 남겨둔다. 본 연구에서는 네 가지 SEPF 차원을 이론에 기반한 의미역 레이블링(Semantic Role Labeling, SRL) 구성에 매핑하고, 이 구성을 트랜스포머의 셀프 어텐션(self-attention) 메커니즘에 직접 통합하는 역할 인식(role-aware) 트랜스포머 아키텍처를 제안한다. 역할 인식 어텐션은 방향성이 없는 내적 상태(감성 및 감정)를 모델링하며, 방향성을 갖는 역할 인식 어텐션은 외적 신호(공손함 및 격식성)에 대한 발화자-수신자(initiator-to-recipient) 관계를 포착한다. 이렇게 얻어진 역할 인식 표현은 의미역을 보조 특징(feature) 벡터로 덧붙이는 방식이 아니라, 각 입력이 기여하는 역할 정보의 양을 적응적으로 가중하는 학습된 게이트(gate)를 통해 문맥 임베딩(contextual embedding)과 융합된다. 네 개의 벤치마크(benchmark) 데이터셋에 걸쳐, 이 프레임워크는 강력한 BERT 기반 베이스라인에 비해 감정, 공손함, 격식성에서 통계적으로 신뢰할 수 있는 성능 향상을 보였으며, 그 향상은 저빈도의 복잡한 감정이나 매우 공손한 표현과 같이 이론적으로 예측된 경우에 집중되었다. 반면 감성에서의 향상은 미미하고 통계적으로 유의하지 않았는데, 이는 감성이 참여자 역할 구조보다는 어휘 선택을 통해 더 많이 전달됨을 시사한다. 실제 데이터에 대한 추가 평가는 이 프레임워크가 예측 성능과 모델 추적 가능성(traceability)을 모두 향상시킨다는 것을 보여준다. 이러한 결과는 트랜스포머 셀프 어텐션에 대한 언어학적으로 근거 있는 수정이 의사소통적 의미 탐지를 향상시키고, 벤치마크 데이터셋을 넘어 실제 정신 건강(mental-health) 데이터로도 일반화되며, 예측 성능을 넘어 해석 가능성(interpretability)까지 확장하는 추적 가능하고 역할에 근거한 설명을 제공함을 보여준다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
고수준 의미 지능을 향하여
Towards High-Level Semantic Intelligence
최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다. 이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.
MAPS: 다중 에이전트 인지 대화에서 공존하는 주관적 관점과 공유 의미 모델링
MAPS: Modeling Co-Existing Subjective Perspectives and Shared Meaning in Multi-Agent Cognitive Dialogue
인간 대화는 정보 교환 이상을 포함하며, 신념, 감정, 주관적 인지 스타일을 표현하기도 한다. 그러나 현재 AI 대화 시스템은 종종 의미적 균일성을 강제하여 다양성과 해석 가능성을 희생한다. 우리는 MAPS(Multi-Agent Perspective Spaces)를 제안한다. 이는 도메인 가중 프로필, 동적 GRU 기반 메모리, 해석 가능한 토큰 수준 어텐션을 통해 인지적으로 서로 다른 에이전트 간 대화를 모델링하는 새로운 프레임워크이다. MAPS는 에이전트가 개별화된 추론을 유지하면서 점진적으로 공유 의미에 수렴하도록 한다. EmpatheticDialogues, TopicalChat, MultiWOZ에 대한 평가에서 MAPS가 주관성을 붕괴시키지 않으면서 의미적 정렬(semantic alignment)을 지원함을 보여준다. 우리 결과는 표현력과 일관성을 균형 있게 하는 인지적으로 그라운딩(grounded)되고 해석 가능한 대화 시스템을 향한 경로를 제시한다.
당신의 기분을 이해합니다: 대화 시스템에서 다국어 정서적 확인(Emotional Validation)을 통한 더 깊은 정서적 지원 강화
I Understand How You Feel: Enhancing Deeper Emotional Support Through Multilingual Emotional Validation in Dialogue System
정서적 확인(Emotional Validation) - 사용자의 감정이 타당함을 명시적으로 인정하는 것 -은 치료적 가치가 입증되었으나 계산적 측면에서는 큰 주목을 받지 못했습니다. 대화 시스템에서의 정서적 확인은 (i) 확인 반응 식별, (ii) 확인 타이밍 감지, (iii) 확인 반응 생성으로 분해될 수 있습니다. 이 세 가지 하위 작업에 대한 연구를 지원하기 위해, 우리는 수동 및 자동 주석의 하이브리드 방식으로 생성된 12만 개의 영어-일본어 다국어 말뭉치인 M-EDESConv와 다국어 구어 대화 테스트 세트인 M-TESC를 공개합니다. 타이밍 감지를 위해, 우리는 크로스 모달 어텐션(attention)과 게이티드(gated) 융합을 통해 동결된 XLM-RoBERTa의 의미를 언어별 감정 인코더와 융합하는 MEGUMI(Multilingual Emotion-aware Gated Unit for Mutual Integration)를 제안합니다. MEGUMI는 M-EDESConv와 M-TESC 데이터셋(dataset) 모두에서 객관적 및 주관적으로 우수한 성능을 보여줍니다. 마지막으로, GPT-4.1 Nano와 Llama-3.1 8B에 대한 우리의 EmoValidBench 벤치마크(benchmark) 결과는 현재의 대규모 언어 모델(LLM)이 문맥적으로 유사하고 다양한 확인 반응을 생성할 수 있지만, 정서적 이해는 여전히 개선이 필요한 주요 영역임을 나타냅니다. 프로젝트 페이지: https://github.com/zihaurpang/Multilingual-Emotional-Validation
CCL25-Eval Task 5를 위한 시스템 보고서: 새로운 데이터셋과 LoRA 파인튜닝된 Qwen2.5
System Report for CCL25-Eval Task 5: New Dataset and LoRA-Fine-Tuned Qwen2.5
최근 대규모 언어 모델(LLM)은 한문 번역 및 한시 생성 분야에서 유망한 진전을 이루었습니다. 그러나 한시의 정밀한 번역과 정서-의미적 이해에 관한 도메인 특화 연구는 여전히 제한적입니다. 주요 과제는 대부분의 연구가 시 감상의 독특한 특징을 간과한 채 시 감상 작업을 일반 도메인 문제로 다룬다는 점이며, 고품질의 도메인 특화 데이터셋이 극히 부족하다는 것입니다. 이러한 제한을 해결하기 위해 우리는 작업을 용어 해석, 의미 해석, 정서적 추론의 세 가지 하위 작업으로 분해했습니다. 여러 오픈소스 데이터셋을 기반으로 데이터 정제 및 정렬을 수행하여 이 도메인에 명시적으로 최적화된 49,404개의 고품질 명령어-응답 쌍으로 구성된 Classical Chinese Poetry Instruction Pair Dataset (CCPoetry-49K)를 구축했습니다. 그 후 Qwen2.5-14B 모델에 Low-Rank Adaptation (LoRA)를 적용하여 파인튜닝함으로써 PoetryQwen이라는 도메인 특화 LLM을 제안했습니다. CCL25-Eval Task 5 벤치마크에 대한 실험 결과, PoetryQwen은 0.757의 점수를 달성하여 Qwen2.5-14B-Instruct 기준선(0.690) 대비 9.7%의 향상을 나타냈습니다. 이러한 결과는 PoetryQwen이 한시의 정밀한 번역과 정서적 이해에서 성능을 크게 향상시킴을 명확히 시사합니다. 우리는 LLM의 도메인 특화 최적화를 지원하기 위한 새로운 데이터셋과 방법론적 고려사항을 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.