Large Language Models (LLMs) enable patient simulation for healthcare communication training, where learners practice responding to clinical information, concerns, and emotional reactions. However, existing patient simulation and affective dialogue systems often represent patient emotions as static attributes or focus on recognizing emotions and generating empathetic responses. They provide limited support for modeling how a simulated patient's emotional state evolves in response to a healthcare professional's communication. Changes in patient emotion constitute interactional feedback that learners must recognize and respond to across dialogue turns. We draw on the Component Process Model (CPM), a psychological theory that explains emotion as a dynamic process shaped by event appraisal. We propose CPM-MultiAgent, a CPM-grounded multi-agent framework for dynamic patient emotion simulation in healthcare communication training. The framework uses an emotion taxonomy informed by medical literature and expert input, and updates emotional states through healthcare-related trigger identification, structured CPM appraisal, and emotion-state integration, accounting for the patient's profile, clinical context, and prior emotional state. We evaluate the framework through student-led conversations and controlled trigger cases, combining nursing-expert assessments, LLM-judge comparisons, component ablations, backbone checks, and student feedback.
Multimodal large language models (MLLMs) have advanced affective computing by enabling nuanced reasoning over visual, acoustic, and linguistic evidence. A key approach to improving their generalization is outcome-based reinforcement learning, which converts existing label-level annotations into rewards for final-answer correctness. However, its sparse sequence-level supervision provides limited fine-grained guidance for interpreting multimodal affective cues and may reward correct labels even when those cues are misinterpreted. To address this challenge, we introduce OmniOPSD, the first on-policy self-distillation framework for omni-modal affective reasoning. At its core, OmniOPSD transforms label-level supervision into evidence-rich, teacher-only rationales by leveraging reference affective judgments as semantic priors for offline multimodal evidence elicitation from frontier MLLMs. Through rationale-privileged self-distillation, it couples on-policy student rollouts with dense, evidence-informed token-level supervision from a local self-teacher, allowing the student to learn along its own trajectories rather than imitate fixed reasoning traces. This decoupling of offline evidence acquisition from local policy learning enables training without additional human annotation, frontier-model logits, or online frontier-model calls, while preserving student-only inference from the original task input. At both 3B and 7B scales, OmniOPSD outperforms supervised fine-tuning (SFT) and group relative policy optimization (GRPO) in mean macro-F1 on both in-domain and out-of-domain evaluations. Among the compared models, it ranks first by MER-UniBench mean across all three input-modality settings, reaching 84.13 with audio--video--text input, and achieves the highest MME-Emotion recognition score (Rec-S) of 42.4.
감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.
표정 강도(facial expression intensity)의 추정 및 분석은 정서적 소통과 인간-컴퓨터 상호작용(HCI)에서 중요한 역할을 합니다. 기존 연구는 주로 프레임 단위의 2D 표현으로부터 표정 강도를 탐지하고 추정하는 데 집중해 왔습니다. 그러나 실제 세계의 표정은 본질적으로 3D이자 시간적으로 연속적이므로, 이러한 한계는 표정을 포괄적으로 이해하는 데 제약이 됩니다. 본 논문에서는 4D 표정 강도 데이터셋(4D Facial Expression Intensity Dataset, 4DFEID)을 제안하여 표정 강도에 대한 인식을 연구합니다. 연구진은 매개변수 기반 얼굴 모델(parametric face model)을 활용하고 제어된 기하학적 변형을 적용하여 총 2,869개의 메시 시퀀스를 구축함으로써, 다양한 최고 강도(peak intensity)와 신원(identity) 속성을 지닌 4D 데이터 인스턴스를 생성했습니다. 또한 크라우드소싱 플랫폼을 통해 리커트 척도(Likert scale) 기반의 주관적 강도 인식 평가 데이터를 90,000건 이상 수집했습니다. 아울러 새로운 데이터셋에서 에피소드 강도 추정을 위한 베이스라인을 수립하고자 다양한 아키텍처와 집계 방식을 탐구하였으며, 시공간 그래프 모델(spatial-temporal graph models)이 기존의 프레임 집계 방식보다 일관되게 우수한 성능을 보임을 확인했습니다. 2D 정적 이미지에 의존하는 기존 데이터셋과 달리, 제안된 4D-FEID 데이터셋은 동적 3D 자극을 활용하여 표정 강도 인식을 연구할 수 있는 독창적이고 필수적인 자원을 커뮤니티에 제공합니다. 높은 충실도(fidelity)와 시공간적 일관성을 갖춘 얼굴 데이터를 제공함으로써, 4D-FEID는 더 미묘하고 자연스러운 표정 분석 연구를 위한 새로운 기반을 마련하고 정서 컴퓨팅(affective computing) 및 인간-컴퓨터 상호작용 분야의 기존 연구 공백을 해소합니다. 해당 데이터셋은 링크에서 이용할 수 있습니다.
멀티모달 감성 파운데이션 모델의 급격한 발전에도 불구하고, 감성 처리 능력이 모델 내부 아키텍처에서 어떻게 발현되는지는 여전히 잘 알려져 있지 않다. 중요한 미해결 과제는 감성 미세조정(fine-tuning)이 모델 전반에 걸쳐 분산된 변화를 유도하는지, 아니면 연산을 기능적으로 특화된 경로로 조직화하는지 여부이다. 본 연구에서는 9가지 모델 설계, 다양한 규모, 태스크 및 학습(training) 패러다임에 걸친 13개 감성 모델(model) 인스턴스에 대한 광범위한 모듈 수준 분석과 함께, 대표 모델들에 대한 통제된 기능 분석을 통해 이 질문을 체계적으로 조사한다. 연구 결과, 감성 적응(affective adaptation)은 일관되면서도 비배타적인 기능적 조직화를 보이는 것으로 나타났다. 동일한 학습 가능 매개변수(parameter) 예산 하에서, 순전파 신경망(FFN)만을 적응시키는 것이 평가된 모든 설정에서 어텐션(attention) 모듈만을 적응시키는 것보다 일관되게 우수한 성능을 보였으며, 평균적으로 모든 주요 트랜스포머(Transformer) 프로젝션을 튜닝하여 얻은 성능에 거의 근접함으로써 FFN이 특히 효율적인 적응 기질임을 확인했다. 더욱 놀랍게도 gate, up, down 프로젝션이 개별적으로는 대등한 단독 적응 역량을 보임에도 불구하고, 결합 최적화를 거친 후에는 학습된 기능적 기여도가 분화되는 것으로 나타났다. 모듈 복구 및 표적 개입 실험을 통해 \texttt{gate\_proj}가 특히 두드러진 경로임을 밝혔으며, 체크포인트(checkpoint) 분석을 통해 이러한 차별화가 학습 과정 전반에 걸쳐 발전함을 확인했다. 본 논문에서는 이러한 현상을 창발적 기능 분업(emergent functional specialization)으로 정의한다. 즉, 경로 수준의 고유한 역할은 단독 적응 역량만으로는 완전히 설명되지 않으며, 결합 감성 적응을 통해 발생한다. 이러한 발견을 바탕으로 제안된 Gate-Focused Efficient Tuning(GET)은 주요 트랜스포머 프로젝션 전체를 튜닝할 때 얻는 성능의 96.2~98.0\%를 유지하면서도, 학습 가능한 매개변수를 19.3~24.5\% 수준만 사용한다.
신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.
본 논문의 목적은 시뮬레이션된 동적 환경에서 인간과 다중 에이전트(agent) 간의 상호작용을 가능하게 하는 설계 원칙과 소프트웨어 아키텍처를 제공하는 것이다. 이는 트랜스포머(transformer) 기반 대화형 에이전트의 확산 및 향상된 컴퓨팅 연산 능력과 더불어 범용 인공지능(AI/AGI)의 현시대를 연결한다. 현재 및 과거의 다중 에이전트 마음 이론(사회적 및 정서적으로 인지하는 에이전트)에 대한 개요를 바탕으로, 에이전트 상호 간 및 인간과의 통합적 상호작용 설계의 존재는 미래 인간-에이전트 추론 시스템에서 지속 가능성과 거버넌스를 구축하는 방법을 이해하는 데 결정적이어야 한다. 본 연구에서는 다음 항목들을 통합하는 소프트웨어 "AGIMUD"를 제시한다: A. 에이전트 행동 및 상호작용에 있어 사회적 인지 추론과 감정, B. 인간 사용자, 인공 에이전트, 시뮬레이션된 환경을 위한 인간 다중 모달(multimodal) 체계 설계, C. 다수의 자율 에이전트를 지원하기 위해 네트워크를 통한 AI 연산 처리 분산. 이러한 통합을 통해 에이전트와 인간 모두가 실시간으로 동시에 상호작용할 수 있는 머드(MUDs, multi-user dungeons) 형태의 동적 환경 재현이 가능해진다. 코드는 https://github.com/dberga/AGIMUD 에서 온라인으로 확인할 수 있다.
인공 주관적 경험을 통해 감정을 모델링하는 Emotional Regulation 프레임워크를 소개하며, 정서적 자극 기반 사전학습(pre-training)과 하위 작업 최적화(optimization) 시 반응 균형 조정을 통해 기존 방식의 객관적 요인 의존 문제를 해결한다. CIFAR-10/100 벤치마크를 활용한 실험 결과, 제안된 방법은 ResNet과 ViT 아키텍처의 성능을 향상시키며 대규모 비전 데이터셋(vision dataset)에서 새로운 최첨단(SOTA) 성능을 달성했다.
감성 이미지 콘텐츠 분석(Affective Image Content Analysis, AICA)은 시각적 콘텐츠가 유발하는 감정을 인식하고 이해하는 것을 목표로 하며, 범용 인공지능(AGI)을 향한 필수적인 단계를 구성한다. 그러나 다중모달 대규모 언어 모델(MLLM)의 급속한 발전에도 불구하고, 이들의 시각적 감정 지능에 대한 체계적 평가는 최근 모델 출시에서 대체로 부재해 왔다. 우리는 이러한 격차를 기존 AICA 패러다임과 MLLM의 개방형·지시 중심 특성 간의 구조적 불일치로 돌리며, 추가 분석을 통해 네 가지 주요 한계가 드러난다: 그럴듯한 응답의 누락, 제한적인 감정 분류체계, 맥락 요인의 간과, 그리고 노동 집약적 주석 작업. 이러한 장벽을 극복하기 위해, 우리는 입력 공간의 표현력을 유지하면서 출력을 판별적 판단으로 제한하는 진술 검증(statement-verification) 공식화인 감정 진술 판별(Emotion Statement Judgement, ESJ)을 제안한다. 우리는 또한 ESJ를 대규모로 구현하는 노동 효율적 파이프라인인 INSETS를 개발하여 INSETS-462k를 구축하고, 감정 극성, 감정 해석, 장면 맥락, 인지 주관성을 아우르는 엄밀하게 정제된 벤치마크인 MVEI를 지원한다. 평가를 넘어, 우리는 정교한 다단계 레시피를 통해 ESJ에 최적화된 감정 지향 MLLM인 EmObserver를 구축한다. MVEI에서 폭넓은 범위의 MLLM에 대한 광범위한 평가는 현재 인공적 시각적 감정 지능에 대한 세밀한 통찰을 밝혀내며, 여러 AICA 벤치마크에서의 실험은 EmObserver의 정확성, 일반화, 그리고 추론 충실성을 입증한다. 종합적으로, 이러한 결과는 MLLM 지향 시각적 감정 지능 발전을 위해 ESJ를 실용적 공식화로, MVEI를 포괄적 벤치마크로, EmObserver를 고급 기준선으로 정립한다. 코드는 https://github.com/wdqqdw/EmObserver 에서 공개될 예정이다.
우리는 ABAW 2026 BAH 챌린지에서 양가성 및 머뭇거림(A/H) 인식 문제를 다룬다: 짧은 인터뷰 영상이 주어졌을 때, 해당 인물이 A/H 징후를 보이는지 예측한다. 우리 시스템은 감정 특화 텍스트, 오디오, 시각적 표현을 소수의 해석 가능한 언어적 머뭇거림 단서와 결합하며, 이를 감정 마커 융합(Affective Marker Fusion, AMF)이라 부르는 신뢰도 게이트로 융합하고, 고정된 결정 임계값에서의 단순 AP 가중 앙상블로 마무리한다. 또한 \emph{ASR 삭제 시간}을 제안한다: 음성 인식기는 전사문에서 채움말과 머뭇거림 휴지를 삭제하지만, 청크 타임스탬프에는 해당 이벤트에 소요된 시간이 보존되며, 이 간격으로 구성한 16개의 특징은 우리가 측정한 가장 강력하고 독립적인 비언어적 채널을 형성한다(AP $0.718$, 다른 모든 구성원과의 상관관계 $0.11$--$0.36$). 통제된 실험을 통해 세 가지를 발견했다: 교차 모달 충돌 설계는 BAH에서 일관된 성능 향상을 제공하지 않는다; 언어는 단연 가장 강력한 채널이며 감정 특화 오디오가 유용한 두 번째 채널이다; 그리고 캘리브레이션이 아키텍처보다 더 중요하다. 소규모 검증 분할에 앙상블 가중치와 임계값을 맞추면 과적합이 발생한다: 검증에서 매크로 F1 $0.741$을 기록하지만 미공개 테스트 세트에서는 $0.690$에 그친다. 반면 고정 임계값에서의 AP 가중은 테스트에서 $\mathbf{0.731}$에 도달한다.
감정 인식 예술적 이미지 생성은 입력 프롬프트에 부합하고, 지정된 예술적 스타일을 따르며, 목표 감정을 전달하는 이미지를 필요로 한다. 이 과제에서 주된 어려움은 학습 데이터에서 사용 가능한 시각적·감성적 속성이 테스트 시점에 명시적으로 제공되지 않는다는 점이다. 이러한 속성 없이는 생성기가 무엇을 묘사할지뿐만 아니라, 색상·조명·붓질·구도·선·레이아웃을 통해 목표 감정을 어떻게 표현할지도 결정해야 한다. 이는 사용 가능한 테스트 프롬프트와 감정 인식 예술적 생성에 필요한 세밀한 조건 사이에 제어 간극(control gap)을 만들어낸다. 이 간극을 해소하기 위해, 우리는 입력 프롬프트를 구조화된 생성 상태로 변환하는 Z-Image 기반 프레임워크인 EmoStyle을 제안한다. 대규모 언어 모델(LLM) 추론기가 먼저 감성적 단서(valence-arousal, 지배적 감정, 치료적 효과 레이블)와 화면비 결정을 예측한다. 이 예측들을 단순히 추가 프롬프트 텍스트로만 사용하는 대신, 감성적 필드를 감성 조건 벡터로 인코딩하고 AdaLN 방식의 변조(modulation)를 통해 디노이징 블록에 주입한다. 이를 통해 추론된 제어 변수가 중간 피처 생성을 직접적으로 안내할 수 있다. 감정 표현이 스타일에도 의존하기 때문에, 각 예술적 스타일 버킷별로 전용 LoRA 어댑터를 추가로 학습하고 추론 시 해당 전문가를 선택함으로써, 동일한 감성적 단서가 색상·텍스처·붓질·구도에 대한 버킷별 사전(prior)으로 렌더링될 수 있도록 한다. 마지막으로, 경량 비전-언어 모델(VLM) 기반 후보 선택 단계에서 프롬프트 정합성, 스타일 일관성, 감정 표현, 시각적 품질을 기준으로 생성된 이미지의 순위를 매긴다. AffectiveArt Challenge 2026의 Track 1에서 우리의 USTC_PI_LAB_TEAM 제출물은 1위를 달성하였다.
감성 지능은 인간이 감정을 인식하고, 원인을 추론하며, 개입 방안을 도출하고, 원하는 감성 상태를 달성하기 위해 환경을 수정할 수 있게 한다. 인공지능(AI)의 최근 발전에도 불구하고, 현재 모델들은 사실적인 콘텐츠를 생성하거나 의미론적 추론을 수행하는 데 그치며, 인간의 감성 반응을 이해하고 예측하며 개인화하는 능력은 거의 갖추고 있지 않다. 본 연구에서는 심층 학습과 상징적 추론을 통합하여 시각적 콘텐츠를 통한 개인화된 감성 증강을 가능하게 하는 하이브리드 AI 프레임워크인 EROS(Emotion-augmented geneRatiOn System)를 소개한다. 대규모 이미지-감성 데이터셋을 활용하여, EROS는 일반화 가능한 감성 규칙을 발견하고, 감성과 관련된 이미지 영역을 식별하며, 장면의 의미론적 구조를 보존하면서 감성 반응을 원하는 목표 방향으로 유도하는 맥락 인식 시각적 수정을 예측한다. 개인 간 변이성을 고려하기 위해, EROS는 모델 미세조정 없이 추론 시점의 개인화를 지원하는 확장 가능한 메모리 뱅크를 통합하여, 해석 가능한 감성 프로파일과 신규 사용자에 대한 빠른 적응을 제공한다. 광범위한 인간 심리물리학 실험을 통해, EROS는 개인의 감성적 선호에 적응하면서 최신 대형 멀티모달 모델들보다 더 효과적으로 목표 감성 반응을 유발하는 것으로 나타났다. 감성 컴퓨팅을 넘어, EROS는 인간의 인지 상태를 이해하고 추론하며 증강할 수 있는 AI 시스템의 토대를 제공하며, 정신 건강, 적응형 미디어, 교육, 인간-컴퓨터 상호작용 분야에서의 잠재적 응용 가능성을 갖는다.
기본 상태의 대규모 언어 모델(LLM)이 인지행동치료(CBT) 이론 지식(면허 시험 96% 정확도)을 갖추고도 실제 대화에서는 상황에 무관하게 검증·반영 패턴으로 수렴하는 문제를 다루며, 사용자 서술을 Beck의 인지 개념화 구조로 분해하고 SNOMED CT 개념으로 근거를 마련한 뒤 다중 사고의 연쇄(MCoT) 전략 선택을 적용하는 지식 유도 프레임워크를 제안한다. 행동 변화 측정을 위한 새로운 지표 Protocol Leverage Force(F)를 도입하여 평가한 결과, MCoT가 단일 Chain-of-Thought 프롬프팅보다 전략 선택을 개선하지만 효과는 1% 이내에 그치며 모든 모델이 여전히 검증·반영 편향을 유지함을 보였다.
감정 인식 AI가 사회 전반에 내재화되는 '정동권(Affectosphere)' 시대에, 개별 감정 레이블의 불확실성은 환원 불가능한 성분(irreducible component)을 포함하기 때문에 아무리 높은 신뢰도를 보이는 시스템도 개인 인스턴스의 감정 의미를 원칙적으로 완전히 복원할 수 없다는 '인식론적 간극(epistemic gap)'을 수학적으로 형식화한다. 이 간극과 명시적 규범 전제로부터, 측정으로 복원 불가능한 양의 해석 권위는 경험 주체에게 절차적으로 귀속되어야 한다는 '정동적 주권(affective sovereignty)' 규범을 도출하며, 감정 AI의 설계·평가·규제가 정확도 극대화보다 해석 권위의 명시적 배분을 핵심에 두어야 함을 주장한다.
감정적 신체 동작 표현은 비언어적 커뮤니케이션의 핵심 요소이다. 가상현실 아바타나 소셜 로봇공학 분야에서 기술을 통해 이러한 표현을 효과적으로 전달하는 것은 매우 중요하다. 생성 모델의 최근 발전은 감정적 신체 동작 학습 연구를 발전시킬 새로운 기회를 열었다. 그러나 감정 단서의 미묘함, 개인 간 변이성, 문화적 차이로 인해 정확한 감정 표현 표현을 생성하는 것은 어려운 과제이다. 본 연구에서는 생성 모델이 명시적인 감정-동작 지도 없이 문화적으로 기반한 모션 캡처 데이터로부터 직접 감정적 신체 동작을 암묵적으로 학습할 수 있는지 조사한다. 49명의 일본 배우들의 감정 퍼포먼스 데이터셋을 사용하여, 13개의 이산 감정 레이블을 조건으로 표현적 동작을 생성하는 트랜스포머 기반 생성 모델을 학습시켰다. 생성된 동작을 두 가지 관점에서 평가하였다: (1) 기계 관찰자의 인식 가능성을 평가하는 LSTM 기반 분류기로 22.80%의 인식 정확도를 달성하였으며, (2) 인간의 정서적 해석과의 일치도를 평가하기 위한 일본인 평가자 대상 인간 지각 연구에서 24.91%의 인식 정확도를 나타냈다. 이에 더하여, 감정 인식 모델 증강, 감정별 대표 동작 패턴 추출, 감정 강도 간 부드러운 전환 합성이라는 세 가지 실용적 과제에서 생성 모델링의 유용성을 평가하였다. 본 연구 결과는 정서 컴퓨팅(affective computing) 응용 프로그램 강화와 감정 표현에 대한 이해를 높이기 위한 암묵적·데이터 기반 생성 모델링의 잠재력을 부각시킨다.
텍스트 인코더는 입력을 밀집 벡터로 효율적으로 압축하면서 의미를 보존하는 능력 덕분에 자연어 처리(NLP)에서 널리 활용되고 있다. 이러한 모델들은 감성 컴퓨팅(affective computing)에도 적용되어 감성 분석(sentiment analysis) 및 감정 인식 과제 해결에 기여해 왔다. 그러나 현대 텍스트 인코더가 생성하는 잠재 표현이 심리학적으로 잘 정의된 감정 이론을 어느 정도까지 포착하는지는 여전히 불분명하다. 본 연구에서는 최근 공개된 12개의 텍스트 인코더의 감정 표현 능력을 조사하기 위해, 이들이 생성한 임베딩을 입력 특징으로 사용하여 단어 수준 및 문장 수준 데이터를 대상으로 세 가지 확립된 감정 프레임워크에 걸쳐 회귀 및 분류(classification) 과제를 수행하였다. 또한 단어 수준 평가의 강건성을 높이기 위해 의미론적 데이터 누출 방지 기법을 적용하였다. 주요 연구 결과에 따르면, 최신 인스트럭션 인식 오픈 가중치(open-weight) 인코더의 잠재 다양체는 단어 수준 평가에서 독점 모델과 동등하거나 오히려 더 많은 양의 감정 정보를 포함하는 것으로 나타났다. 반면, 과제 튜닝 및 독점 인코더의 임베딩은 문장 수준 감정 분류에서 가장 높은 점수를 기록하였다. 더불어 잠재 표현과 그에 인코딩된 감정 단서에 대한 정성적 분석도 제공한다.
영화관 환경에서 EMORSION 프로토콜을 통해 공포·드라마 장면 4개의 오디오 디자인 요소(주파수, 다이내믹스, 방향성)를 체계적으로 조작하고, 설문·심박수·동작 추적으로 관객 정서와 몰입을 평가한 탐색적 개념 증명 연구이다. 미묘한 오디오 변화만으로도 정서 인식과 몰입에 측정 가능한 차이가 포착되었고, 전통적 몰입형 믹스는 관객 간 반응 합의가 더 강한 경향을 보여 프로토콜의 실현 가능성을 입증했다.
인간이 과업을 위임·모니터링·수정하는 에이전트 협업에서 정서적 단서와 감정 유사 행동이 신뢰 보정, 위임 결정, 오류 수정, 의존, 거버넌스를 형성하는 계산·상호작용 메커니즘을 종합한 리뷰다. 정서를 AI의 내부 속성이 아닌 인간과 에이전트가 능력·불확실성·책임을 조율하는 조정 층으로 보는 프레임워크를 제안하며, 보정된 측정과 의도적 설계·거버넌스의 기초를 제공한다.