대화형 음성 합성(Conversational Speech Synthesis, CSS)은 인간-컴퓨터 상호작용의 핵심 구성 요소로, 맥락에 적합하고 표현력 있으며 공감적인 음성을 생성하는 것을 목표로 한다. 그러나 얼굴 표정은 공감적 음성 상호작용에 필수적인 미묘하고 풍부한 정서적 단서를 인코딩하는 반면, 기존 접근법들은 이 중요한 모달리티를 종종 간과한다. 또한 음성과 시각 모달리티를 모두 갖춘 대규모 자연 대화 데이터셋의 부재는 대화 환경에서의 시각적 정서 이해 발전을 제한한다. 이러한 한계를 해결하기 위해, 우리는 대규모 언어 모델(LLM) 백본 위에 구축된 얼굴 표정 인식형 CSS 프레임워크인 FacialTalker를 제안한다. 얼굴 표정을 효율적으로 인코딩하기 위해, 각 프레임 수준의 얼굴 표정을 간결한 토큰으로 이산화하는 단일 코드북 시각 토크나이저 AUTokenizer를 제안하며, 이는 얼굴 액션 유닛(Action Unit) 조합의 지도로 학습된다. 나아가 이중 직접 선호 최적화(DualDPO) 전략을 도입하는데, 이는 시각 및 음성 토큰 시퀀스 모두에 선호 제약을 공동으로 부과하여 직접 선호 최적화(DPO)를 확장함으로써, 멀티모달 대화 맥락에서 모델의 얼굴 표정과 음성 의미 이해를 강화한다. 또한 실제 인터넷 대화로부터 완전 자동화된 파이프라인을 통해 수집한 대규모 멀티모달 대화 데이터셋 VSDD-1K를 구축하였으며, 이는 동기화된 화자 비디오와 음성 1,033시간 이상으로 구성되고 프레임의 85% 이상이 유효한 얼굴을 포함한다. 광범위한 객관적·주관적 실험은 FacialTalker가 얼굴 표정 인식과 음성 합성 품질에서 강력한 베이스라인을 일관되게 능가하며, 더 자연스럽고 표현력 있으며 대화 맥락에 더 잘 정렬된 음성을 생성함을 보여준다. 결과는 또한 우리의 학습 전략과 데이터셋 구축 파이프라인의 유효성을 검증한다.
Stress is a dynamic process characterized by significant individual variability in facial expression. Traditional architectures, such as Recurrent Neural Networks (RNNs) and Convolutional Neural Networks (CNNs), often overlook person-specific baselines or lack the representational capacity to model the non-linear temporal progression of distress due to sequential bottlenecks and rigid grid-based constraints. Furthermore, many deep learning models lack the interpretability required for clinical deployment. This study introduces StressGAT, a Graph Attention Network that leverages the relational inductive bias of graph modeling to capture complex facial dynamics that indicate acute stress. By using Differential Action Units, the framework normalizes individual responses relative to neutral baselines to achieve personalized recognition. The proposed model achieves 88.62\% accuracy on a diverse stress-induction cohort (58 participants) using a subject-independent, Leave-One-Subject-Out (LOSO) cross-validation protocol. Beyond predictive accuracy, the architecture integrates a Multiple Instance Learning (MIL) attention mechanism to identify peak stress intervals and reveal distinct expressivity phenotypes. By simultaneously optimizing for accuracy and interpretability, this framework provides a robust, explainable solution for personalized affective monitoring.
EEG 기반 감정 인식은 높은 정확도를 보임에도 불구하고, 기존 모델들은 불투명한 "블랙박스"로 남아 있으며, 추상적인 신경 특징과 인간이 해석 가능한 상태 간의 의미론적 그라운딩이 결여되어 있다. 본 논문에서는 EEG 설명 가능성을 교차 모달 생성 과제로 재정의하여, 특징 귀인에서 행동 시각화로 패러다임을 전환한다. 우리는 고차원 EEG 신호를 신원이 익명화된 얼굴 이모지로 변환하는 새로운 프레임워크인 얼굴 이모지 프록시 모델링(Facial Emoji Proxy Modeling)을 소개한다. 신경-안면 연관성에 관한 신경과학적 영감을 바탕으로, 이 접근법은 신경 표현을 관찰 가능한 안면 역동성의 매니폴드에 그라운딩한다. 기술적으로, 우리의 프레임워크는 표정 관련 공간적 시너지를 모델링하는 특화된 백본인 FMENet과, 이모지 재구성을 구조화된 의미론적 정규화기로 처리하는 얼굴 이모지 학습 브랜치(Facial Emoji Learning Branch, FELB)를 통합한다. EAV 및 MMER 벤치마크에서의 광범위한 실험을 통해, 우리의 방법이 EEG 단독 모델 중 최첨단 정확도를 달성함을 입증한다. 특히, 본 방법은 의미론적으로 충실한 얼굴 애니메이션을 생성하여 뇌의 감정적 변화를 투명하고 프라이버시를 보호하는 방식으로 보여주며, 사용자가 신경 신호로부터 직접 "감정을 볼" 수 있도록 한다. 코드는 https://github.com/xian-sh/SeeEmotion 에서 확인할 수 있다.
표정 품질 평가(FEQA)가 심각도 점수만 내고 얼굴 움직임 근거를 설명하지 못하는 한계를 줄이기 위해 TraMP-LLaMA는 RGB 외관과 랜드마크 궤적을 통합해 점수와 구조화된 텍스트 보고서를 함께 생성하고, 분리형 인스트럭션 튜닝(instruction tuning)으로 심각도 예측과 언어 생성 간 과제 간섭을 완화한다. PFED5-plus에서 보고서 생성은 경쟁 비디오-언어 베이스라인을 능가했고, 공동 다중 표정 학습에서는 비교 방법 중 최고의 심각도 예측을 달성하며 Spearman 순위 상관계수를 최소 4.39% 향상했다.