BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합
BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport
한국어 초록
멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.
원문 초록
In multimodal emotion recognition (MER), human affective states are inferred by integrating complementary cues from multiple modalities. In audio-text MER, affective cues are often entangled with speaker style and lexical content, while cross-modal disagreement further complicates how the evidence should be integrated. Under conventional discriminative fusion, multimodal evidence is compressed into a terminal prediction, with modality-specific cues and conflict information insufficiently preserved. In large generative affective models, by contrast, affective reasoning is typically embedded in language decoding, leaving emotion evidence implicit and difficult to verify in a structured space. To address these limitations, BiCFlow-MER (Bidirectional Conditional Flow for Multimodal Emotion Recognition) is proposed as a conditional-flow framework in which audio-text MER is formulated as generative evidence transport within a structured emotion space. Within BiCFlow-MER, emotion-oriented evidence is disentangled from speaker-style and lexical-content factors to construct a conflict-aware affective condition. Guided by this condition, each utterance is transported to an explicit emotion-space endpoint through a bidirectional rectified flow. Candidate emotions are jointly verified through adaptive prototype-cloud scoring of the transported endpoint and backward class-to-condition consistency with the original multimodal condition, enabling conflict-aware recognition. BiCFlow-MER is shown to outperform all compared methods across IEMOCAP, MELD, and the zero-shot CASE benchmark. By orchestrating discriminative recognition and generative evidence modeling through conditional transport, BiCFlow-MER defines a new MER paradigm.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27615v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MER-R1: 느린-빠른 사고 시너지를 통한 다중 모달 감정 추론
MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thinking Synergy
명시적 추론이 예측을 더 해석 가능하게 만들더라도, 다중 모달 감정 인식(MER) 정확도를 반드시 향상시키지는 않는다는 것을 발견했다. 구체적으로, 추론 기반 MLLM에서 직접적인 답을 유도하는 빠른 사고(fast thinking)는 숙고적 추론 이후의 느린 사고(slow thinking)보다 종종 더 우수한 성능을 보인다. 경험적 분석 결과, 빠른 사고는 더 넓고 확신 있는 예측으로 재현율을 높이는 반면, 느린 사고는 부정확한 범주를 보수적으로 걸러내어 정밀도를 높이는 경향이 있다. 이러한 통찰을 바탕으로, 느린-빠른 상호보완을 명시적 최적화로 전환하는 강화학습 프레임워크인 MER-R1을 제안한다. 이중 목표 분리(dual-objective disentanglement)는 재현율과 정밀도를 두 개의 최적화 신호로 분리하여, 서로 트레이드오프하는 대신 공동으로 최적화할 수 있게 한다. 느린-빠른 신뢰도 보정(slow-fast confidence calibration)은 최종 느린 사고 답변을 빠른 사고의 직관과 더 잘 정렬하여, 올바른 감정은 강화하고 잘못된 감정은 억제한다. 이를 통해 MER-R1은 빠른 사고의 재현율 지향적 직관과 느린 사고의 정밀도 지향적 선택성을 통합한다. 또한 이 시너지에 대한 이론적 정당성을 제시하며, 최적화 과정에서 분산으로 인한 간섭을 완화함을 보인다. MER-UniBench와 MME-Emotion에 대한 광범위한 실험에서 MER-R1은 최첨단(state-of-the-art) 성능을 달성하며, 추론이 실질적으로 감정 인식에 도움이 되도록 한다.
DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입
DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization
정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.
표현에서 반응으로: 대화 상대방 감정 인식을 위한 역할 인지 시각 전이 및 자극 유도 추론
From Expression to Reaction: Role-aware Visual Transfer and Stimulus-guided Reasoning for Interlocutor Emotion Recognition
본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.
다국어 저자원 감정 탐지를 위한 멀티 에이전트 LLM에서 토폴로지와 다양성의 분리 분석
Disentangling Topology and Diversity in Multi-Agent LLMs for Multilingual Low-Resource Emotion Detection
멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.
STEER: 조향 가능한 대화형 헤드 아바타
STEER: Steerable Dyadic Head Avatars
얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.
AffectFlow-DINO: 조건부 Rectified Flow를 통한 불확실성 인식 다중 과제 정서 추정
AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow
\textbf{AffectFlow-DINO}를 제안한다. 이는 제11회 ABAW 챌린지를 위한 다중 과제 학습 시스템으로, 표준 결정론적 아키텍처에 조건부 rectified-flow 헤드를 확장하여 in-the-wild 얼굴 행동의 고유한 모호성을 모델링한다. 단일 정서 추정치를 예측하는 대신, 모델은 조건부 생성 분포를 학습하여 Monte Carlo 샘플링을 통해 불확실성을 고려한 일대다(one-to-many) 예측을 가능하게 한다. 이 시스템은 정적 얼굴 이미지로부터 연속적인 valence-arousal을 공동 추정하고, 8가지 얼굴 표정을 분류하며, 12개 Action Unit을 탐지한다. 동결된 DINOv3 ViT-S/16 백본 위에 구축되었으며, 광범위한 ablation 연구를 통해 rectified-flow 디코딩이 결정론적 예측을 일관되게 개선하며, 특히 valence-arousal 추정(CCC-V $+0.058$)에서 두드러짐을 보였다. 또한 사후 임계값 보정(post-hoc threshold calibration)이 재학습 없이 심각하게 불균형한 희귀 클래스(예: Fear: $3.8\% \rightarrow 33.1\%$)의 성능을 효과적으로 회복함을 보였다. 백본 미세조정과 flow 재튜닝을 결합한 최종 모델은 $\mathbf{P_{MTL}=1.177}$을 달성하여 공식 챌린지 기준선 $P_{MTL}=0.45$를 크게 능가한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.