"Are you okay, honey?": Recognizing Emotions among Couples Managing Diabetes in Daily Life using Multimodal Real-World Smartwatch Data
원문 초록
Couples generally manage chronic diseases together and the management takes an emotional toll on both patients and their romantic partners. Consequently, recognizing the emotions of each partner in daily life could provide an insight into their emotional well-being in chronic disease management. Currently, the process of assessing each partner's emotions is manual, time-intensive, and costly. Despite the existence of works on emotion recognition among couples, none of these works have used data collected from couples' interactions in daily life. In this work, we collected 85 hours (1,021 5-minute samples) of real-world multimodal smartwatch sensor data (speech, heart rate, accelerometer, and gyroscope) and self-reported emotion data (n=612) from 26 partners (13 couples) managing diabetes mellitus type 2 in daily life. We extracted physiological, movement, acoustic, and linguistic features, and trained machine learning models (support vector machine and random forest) to recognize each partner's self-reported emotions (valence and arousal). Our results from the best models (balanced accuracies of 63.8% and 78.1% for arousal and valence respectively) are better than chance and our prior work that also used data from German-speaking, Swiss-based couples, albeit, in the lab. This work contributes toward building automated emotion recognition systems that would eventually enable partners to monitor their emotions in daily life and enable the delivery of interventions to improve their emotional well-being.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CPM-MultiAgent: 의료 대화에서 환자 감정의 동적 변화를 시뮬레이션하기 위한 CPM 기반 평가(appraisal) 프레임워크
CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue
대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.
OmniOPSD: 감성 컴퓨팅을 위한 근거-특권 온-정책 자기증류
OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing
멀티모달 대규모 언어 모델(MLLM)은 시각, 음향, 언어적 증거에 대한 섬세한 추론을 가능하게 하여 정서 컴퓨팅을 발전시켰다. 이들의 일반화를 향상시키는 핵심 접근법은 결과 기반 강화학습으로, 기존의 레이블 수준 주석을 최종 답의 정확성에 대한 보상으로 변환한다. 그러나 이 방식의 희소한 시퀀스 수준 지도는 멀티모달 정서 단서를 해석하는 데 필요한 세밀한 안내를 제한적으로만 제공하며, 단서를 잘못 해석한 경우에도 올바른 레이블에 보상을 줄 수 있다. 이 문제를 해결하기 위해 본 논문은 옴니모달 정서 추론을 위한 최초의 온폴리시 자기 증류 프레임워크인 OmniOPSD를 제안한다. OmniOPSD의 핵심은 참조 정서 판단을 의미적 사전 정보로 활용하여 최첨단 MLLM으로부터 오프라인으로 멀티모달 증거를 이끌어 냄으로써, 레이블 수준 지도를 증거가 풍부한 교사 전용 근거(rationale)로 변환하는 것이다. 근거 특권(rationale-privileged) 자기 증류를 통해 학생의 온폴리시 롤아웃과 로컬 자기 교사로부터 얻은 조밀한 증거 기반 토큰 수준 지도를 결합하며, 이에 따라 학생은 고정된 추론 흔적을 모방하는 대신 자신의 궤적을 따라 학습할 수 있다. 오프라인 증거 획득과 로컬 정책 학습의 이러한 분리는 추가적인 사람 주석, 최첨단 모델의 로짓, 또는 온라인 최첨단 모델 호출 없이도 학습을 가능하게 하며, 원래의 과제 입력만으로 학생 단독 추론을 수행하도록 유지한다. 3B와 7B 규모 모두에서 OmniOPSD는 도메인 내 및 도메인 외 평가 모두의 평균 macro-F1에서 지도 미세조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 능가한다. 비교 모델 중에서 세 가지 입력 모달리티 설정 전반의 MER-UniBench 평균 기준 1위를 차지하며, 오디오–비디오–텍스트 입력에서 84.13에 도달하고, MME-Emotion 인식 점수(Rec-S)에서 최고점인 42.4를 달성한다.
SpeechEQ: 사회적 인식을 갖춘 음성 대화 모델의 감성 지능 지수 벤치마킹
SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models
멀티모달 대화 시스템이 음성 상호작용에 점점 더 많이 참여함에 따라, 준언어적 사회 신호를 다루는 능력이 자연스러운 인간-AI 소통의 핵심 병목이 되었다. 그러나 기존의 기계 감성 지능 평가는 고립된 텍스트나 수동적인 음향 인식을 통해서만 추론을 평가하여, 능동적인 다중 턴 대화에 필요한 복잡한 교차 모달 추론을 간과한다. 우리는 음성-언어 모델(SLM)의 사회언어학적 추론을 평가하기 위해 설계된 포괄적 프레임워크인 \textsc{SpeechEQ}를 소개한다. 이 프레임워크는 EQ-i 2.0 이론에 기반한 15개 감성 지능(EQ) 하위 척도에 걸친 2,265개 대화로 구성된 검증된 데이터셋과, 인간 EQ 평가에서 착안하여 제안한 음성 EQ(SEQ) 점수로 측정되는 다중 턴 평가 프로토콜을 포함한다. 실험은 기존 음성 감정 인식과 종단간 음성-언어 모델 모두가 음성을 통한 준언어적 단서를 이해하고 적용하는 방식에 한계가 있음을 보여준다. 종단간 아키텍처가 캐스케이드 시스템보다 우수하지만, \textsc{SpeechEQ}는 현재의 멀티모달 모델이 텍스트에 의존하는 ``모달리티 지름길'', 정렬로 인해 유발되는 ``안전 함정'', 그리고 ``맥락 건망증''에 여전히 병목이 있음을 드러내며, 진정으로 감성을 인식하는 AI로 나아가는 데 장벽이 있음을 부각한다. 우리의 벤치마크는 https://huggingface.co/datasets/SpeechEQ/SpeechEQ 에서, 데모 페이지는 https://speecheq.github.io 에서 접근할 수 있다.
fog: 하이더-짐멜 애니메이션을 위한 코드의 계층적 함수 합성을 통한 표현적 동작 생성
fog: Generating Expressive Motion through Layered Function Composition of Code for Heider-Simmel Animation
동작과 감정은 지능적이고 표현적인 행동의 핵심 요소이다. 본 논문에서는 동작 함수를 생성하기 위한 계층적 함수 합성 프레임워크인 fog를 소개한다. 우리는 fog를 하이더-짐멜 스타일 애니메이션에서 동작과 감정을 표현하는 데 어떻게 사용할 수 있는지 보여 준다. 이 코드 생성 프레임워크는 사용자가 동작의 궤적, 방식, 느낌을 포착하는 동사, 부사, 감정에 대한 함수를 생성하도록 도울 수 있다. 여기에 사용자가 표식, 화살표, 경로 형태로 공간적 맥락을 제공하도록 돕는 애니메이션 편집기가 더해진다. 우리는 다양한 함수 생성 및 합성 설정을 조사하는 기술 평가로 접근법을 평가한다. 혼합 방법 사용자 연구(n=12)에서, fog는 사용자가 표시하고 그린 공간적 맥락을 전달하고 더 많은 제어 차원을 제공함으로써 사용자를 지원할 수 있음을 확인했다.
복합 감정과 단일 극성
Mixed Feelings, Single Polarity
감정 데이터셋(dataset)은 각 감정 범주에 하나의 극성을 할당함으로써 긍정 및 부정의 정서가(valence)로 일상적으로 매핑됩니다. 본 연구에서는 SemEval-2018 Affect in Tweets(영어, 아랍어, 스페인어), EmoBank와 정렬된 Affective Text, 가공되지 않은 GoEmotions 주석, 자연스러운 해시태그 말뭉치, 통제된 주석 연구를 활용하여 이러한 방식이 작동하는 경우와 실패하는 경우를 검증합니다. 고정된 투영은 텍스트가 단일 정서가의 레이블을 가질 때는 잘 작동합니다. 그러나 레이블만으로도 식별 가능한 하위 집합, 즉 감정 레이블들이 상반된 방향을 가리키는 트윗에서는 실패합니다. 이들은 극성을 지닌 SemEval 테스트 트윗의 9.0%에 불과하지만 학습된 투영의 극성 오류 중 54.8%를 유발하며, 중립 또는 복합(neutral-or-mixed) 정답 레이블을 받을 가능성이 두 배 이상 높고, 전체 레이블 집합을 모델링하더라도 구제되지 않습니다. 어노테이터들은 이러한 구성을 일상적으로 생성하며, 다중 레이블 GoEmotions 판단의 16.3%는 데이터셋 자체의 긍정 및 부정 상위 범주에 속한 감정들을 결합합니다. 단어와 독자를 일정하게 유지한 통제 연구에서, 문맥은 대조군의 19.9%에 비해 56.8%의 경우에서 거친 정서가 판단을 변화시켰습니다. 본 연구에서는 개별 레이블 대신 레이블 구성을 투영하고, 레이블이 충돌하는 경우 기권하거나 복합 클래스를 유지하며, 정확도와 함께 커버리지(coverage)를 보고할 것을 권장합니다.
EmoGavel: 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반 그라운딩 인식 강화학습
EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning
멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.