arXiv:2606.28769v1 cs.LG

감정적 신체 동작 표현의 인식 향상을 위한 도구로서의 생성 학습

Generative Learning as a Tool to Improve Perception of Emotional Body Motion Expressions

Huakun Liu, Miao Cheng, Xin Wei, Felix Dollack, Victor Schneider, Hideaki Uchiyama, Chia-huei Tseng, Yoshifumi Kitamura, Monica Perusquia-Hernandez

제출 2026-06-27

한국어 초록

감정적 신체 동작 표현은 비언어적 커뮤니케이션의 핵심 요소이다. 가상현실 아바타나 소셜 로봇공학 분야에서 기술을 통해 이러한 표현을 효과적으로 전달하는 것은 매우 중요하다. 생성 모델의 최근 발전은 감정적 신체 동작 학습 연구를 발전시킬 새로운 기회를 열었다. 그러나 감정 단서의 미묘함, 개인 간 변이성, 문화적 차이로 인해 정확한 감정 표현 표현을 생성하는 것은 어려운 과제이다. 본 연구에서는 생성 모델이 명시적인 감정-동작 지도 없이 문화적으로 기반한 모션 캡처 데이터로부터 직접 감정적 신체 동작을 암묵적으로 학습할 수 있는지 조사한다. 49명의 일본 배우들의 감정 퍼포먼스 데이터셋을 사용하여, 13개의 이산 감정 레이블을 조건으로 표현적 동작을 생성하는 트랜스포머 기반 생성 모델을 학습시켰다. 생성된 동작을 두 가지 관점에서 평가하였다: (1) 기계 관찰자의 인식 가능성을 평가하는 LSTM 기반 분류기로 22.80%의 인식 정확도를 달성하였으며, (2) 인간의 정서적 해석과의 일치도를 평가하기 위한 일본인 평가자 대상 인간 지각 연구에서 24.91%의 인식 정확도를 나타냈다. 이에 더하여, 감정 인식 모델 증강, 감정별 대표 동작 패턴 추출, 감정 강도 간 부드러운 전환 합성이라는 세 가지 실용적 과제에서 생성 모델링의 유용성을 평가하였다. 본 연구 결과는 정서 컴퓨팅(affective computing) 응용 프로그램 강화와 감정 표현에 대한 이해를 높이기 위한 암묵적·데이터 기반 생성 모델링의 잠재력을 부각시킨다.

원문 초록

Emotional body motion expressions are an essential element of non-verbal communication. Effectively conveying these expressions through technology is of utmost importance, for example, with virtual reality avatars and in social robotics. Recent advances in generative models have opened new opportunities for advancing research on emotional body motion learning. However, generating accurate emotional expression representations is challenging, given the subtlety of emotional cues, individual variability, and cultural differences. We investigate whether a generative model can implicitly learn emotional body motions directly from culturally grounded motion-capture data, without explicit emotion-motion guidance. Using a dataset of emotional performances by 49 Japanese actors, we trained a Transformer-based generative model to generate expressive motions conditioned on 13 discrete emotion labels. We evaluate the generated motions from two perspectives: (1) an LSTM-based classifier to assess recognizability by machine observers, achieving a recognition accuracy of 22.80%, and (2) a human perception study with Japanese raters to assess alignment with human affective interpretations, yielding a recognition accuracy of 24.91%. Beyond these, we evaluate the utility of generative modeling for three practical tasks: augmenting emotion recognition models, extracting representative emotion-specific motion patterns, and synthesizing smooth transitions between emotion intensities. Our findings highlight the potential of implicit, data-driven generative modeling to enhance affective computing applications and our understanding of emotion expressions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28769v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11120v1cs.CV공통 태그 Emotion Recognition, Action Recognition, affective computing

비디오에서의 양가성 및 머뭇거림 인식을 위한 단순 특징과 정직한 캘리브레이션

Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video

우리는 ABAW 2026 BAH 챌린지에서 양가성 및 머뭇거림(A/H) 인식 문제를 다룬다: 짧은 인터뷰 영상이 주어졌을 때, 해당 인물이 A/H 징후를 보이는지 예측한다. 우리 시스템은 감정 특화 텍스트, 오디오, 시각적 표현을 소수의 해석 가능한 언어적 머뭇거림 단서와 결합하며, 이를 감정 마커 융합(Affective Marker Fusion, AMF)이라 부르는 신뢰도 게이트로 융합하고, 고정된 결정 임계값에서의 단순 AP 가중 앙상블로 마무리한다. 또한 \emph{ASR 삭제 시간}을 제안한다: 음성 인식기는 전사문에서 채움말과 머뭇거림 휴지를 삭제하지만, 청크 타임스탬프에는 해당 이벤트에 소요된 시간이 보존되며, 이 간격으로 구성한 16개의 특징은 우리가 측정한 가장 강력하고 독립적인 비언어적 채널을 형성한다(AP $0.718$, 다른 모든 구성원과의 상관관계 $0.11$--$0.36$). 통제된 실험을 통해 세 가지를 발견했다: 교차 모달 충돌 설계는 BAH에서 일관된 성능 향상을 제공하지 않는다; 언어는 단연 가장 강력한 채널이며 감정 특화 오디오가 유용한 두 번째 채널이다; 그리고 캘리브레이션이 아키텍처보다 더 중요하다. 소규모 검증 분할에 앙상블 가중치와 임계값을 맞추면 과적합이 발생한다: 검증에서 매크로 F1 $0.741$을 기록하지만 미공개 테스트 세트에서는 $0.690$에 그친다. 반면 고정 임계값에서의 AP 가중은 테스트에서 $\mathbf{0.731}$에 도달한다.

arXiv:2610.13558v1cs.CV공통 태그 Emotion Recognition, affective computing

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

arXiv:2610.02796v1cs.AI공통 태그 Emotion Recognition, affective computing

EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링

Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS

생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.

arXiv:2610.02647v1cs.CV공통 태그 Emotion Recognition, affective computing

역동성 포착: 4D 표정 강도 데이터셋

Capturing Dynamics: The 4D Facial Expression Intensity Dataset

표정 강도(facial expression intensity)의 추정 및 분석은 정서적 소통과 인간-컴퓨터 상호작용(HCI)에서 중요한 역할을 합니다. 기존 연구는 주로 프레임 단위의 2D 표현으로부터 표정 강도를 탐지하고 추정하는 데 집중해 왔습니다. 그러나 실제 세계의 표정은 본질적으로 3D이자 시간적으로 연속적이므로, 이러한 한계는 표정을 포괄적으로 이해하는 데 제약이 됩니다. 본 논문에서는 4D 표정 강도 데이터셋(4D Facial Expression Intensity Dataset, 4DFEID)을 제안하여 표정 강도에 대한 인식을 연구합니다. 연구진은 매개변수 기반 얼굴 모델(parametric face model)을 활용하고 제어된 기하학적 변형을 적용하여 총 2,869개의 메시 시퀀스를 구축함으로써, 다양한 최고 강도(peak intensity)와 신원(identity) 속성을 지닌 4D 데이터 인스턴스를 생성했습니다. 또한 크라우드소싱 플랫폼을 통해 리커트 척도(Likert scale) 기반의 주관적 강도 인식 평가 데이터를 90,000건 이상 수집했습니다. 아울러 새로운 데이터셋에서 에피소드 강도 추정을 위한 베이스라인을 수립하고자 다양한 아키텍처와 집계 방식을 탐구하였으며, 시공간 그래프 모델(spatial-temporal graph models)이 기존의 프레임 집계 방식보다 일관되게 우수한 성능을 보임을 확인했습니다. 2D 정적 이미지에 의존하는 기존 데이터셋과 달리, 제안된 4D-FEID 데이터셋은 동적 3D 자극을 활용하여 표정 강도 인식을 연구할 수 있는 독창적이고 필수적인 자원을 커뮤니티에 제공합니다. 높은 충실도(fidelity)와 시공간적 일관성을 갖춘 얼굴 데이터를 제공함으로써, 4D-FEID는 더 미묘하고 자연스러운 표정 분석 연구를 위한 새로운 기반을 마련하고 정서 컴퓨팅(affective computing) 및 인간-컴퓨터 상호작용 분야의 기존 연구 공백을 해소합니다. 해당 데이터셋은 링크에서 이용할 수 있습니다.

arXiv:2610.03016v1cs.MM공통 태그 Emotion Recognition, affective computing

표현에서 반응으로: 대화 상대방 감정 인식을 위한 역할 인지 시각 전이 및 자극 유도 추론

From Expression to Reaction: Role-aware Visual Transfer and Stimulus-guided Reasoning for Interlocutor Emotion Recognition

본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.

arXiv:2609.26927v1cs.AI공통 태그 Emotion Recognition, affective computing

상호작용형 다중 에이전트 시뮬레이션을 위한 사회·정서적 인공지능 구축

Building Socio-Affective Artificial Intelligence for Interactive Multi-Agent Simulations

본 논문의 목적은 시뮬레이션된 동적 환경에서 인간과 다중 에이전트(agent) 간의 상호작용을 가능하게 하는 설계 원칙과 소프트웨어 아키텍처를 제공하는 것이다. 이는 트랜스포머(transformer) 기반 대화형 에이전트의 확산 및 향상된 컴퓨팅 연산 능력과 더불어 범용 인공지능(AI/AGI)의 현시대를 연결한다. 현재 및 과거의 다중 에이전트 마음 이론(사회적 및 정서적으로 인지하는 에이전트)에 대한 개요를 바탕으로, 에이전트 상호 간 및 인간과의 통합적 상호작용 설계의 존재는 미래 인간-에이전트 추론 시스템에서 지속 가능성과 거버넌스를 구축하는 방법을 이해하는 데 결정적이어야 한다. 본 연구에서는 다음 항목들을 통합하는 소프트웨어 "AGIMUD"를 제시한다: A. 에이전트 행동 및 상호작용에 있어 사회적 인지 추론과 감정, B. 인간 사용자, 인공 에이전트, 시뮬레이션된 환경을 위한 인간 다중 모달(multimodal) 체계 설계, C. 다수의 자율 에이전트를 지원하기 위해 네트워크를 통한 AI 연산 처리 분산. 이러한 통합을 통해 에이전트와 인간 모두가 실시간으로 동시에 상호작용할 수 있는 머드(MUDs, multi-user dungeons) 형태의 동적 환경 재현이 가능해진다. 코드는 https://github.com/dberga/AGIMUD 에서 온라인으로 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.