Emotion Recognition from the perspective of Activity Recognition
원문 초록
Applications of an efficient emotion recognition system can be found in several domains such as medicine, driver fatigue surveillance, social robotics, and human-computer interaction. Appraising human emotional states, behaviors, and reactions displayed in real-world settings can be accomplished using latent continuous dimensions. Continuous dimensional models of human affect, such as those based on valence and arousal are more accurate in describing a broad range of spontaneous everyday emotions than more traditional models of discrete stereotypical emotion categories (e.g. happiness, surprise). Most of the prior work on estimating valence and arousal considers laboratory settings and acted data. But, for emotion recognition systems to be deployed and integrated into real-world mobile and computing devices, we need to consider data collected in the world. Action recognition is a domain of Computer Vision that involves capturing complementary information on appearance from still frames and motion between frames. In this paper, we treat emotion recognition from the perspective of action recognition by exploring the application of deep learning architectures specifically designed for action recognition, for continuous affect recognition. We propose a novel three-stream end-to-end deep learning regression pipeline with an attention mechanism, which is an ensemble design based on sub-modules of multiple state-of-the-art action recognition systems. The pipeline constitutes a novel data pre-processing approach with a spatial self-attention mechanism to extract keyframes. The optical flow of high-attention regions of the face is extracted to capture temporal context. AFEW-VA in-the-wild dataset has been used to conduct comparative experiments. Quantitative analysis shows that the proposed model outperforms multiple standard baselines of both emotion recognition and action recognition models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인간 중심 멀티모달 관측에 기반한 선제적 로봇을 위한 인지적 행동 추론
Cognitive Action Reasoning for Proactive Robots from Human-Centered Multimodal Observations
인간 중심 환경에서 동작하는 로봇은 일반적으로 명시적 지시를 수행하도록 설계되며, 대부분의 로봇 학습 데이터셋 역시 관측을 작업 지시나 저수준 행동과 짝지어 구성한다. 최근 연구들이 선제적(proactive) 체화 보조(embodied assistance)를 탐구하기 시작했지만, 기존 자원들은 서로 다른 설정과 행동 수준을 대상으로 하여 실세계의 인간 중심 멀티모달 의사결정은 여전히 충분히 탐구되지 않은 상태이다. 우리는 이 문제를 \textit{선제적 로봇 행동 추론}(\textit{ProRobo})으로 정식화하는데, 이는 로봇이 명시적인 행동 지시 없이 인간 및 환경의 멀티모달 단서에 기반하여 어떤 행동을 취할지 결정해야 하는 상위 인지적 의사결정 문제이다. ProRobo를 지원하기 위해, 우리는 다섯 가지 일반적인 장면 속 12가지 일상생활 시나리오에 걸쳐 시각적 관측, 오디오 신호, 텍스트 입력으로 구성된 1만 개(10K) 샘플을 포함하는 실세계 멀티모달 데이터셋 \textit{ProAction}을 소개한다. 인지적으로 근거 있는 상위 수준 행동 지도(supervision)를 구성하기 위해, 우리는 평가(appraisal) 기반 후보 생성과 정서적 마음 이론(Affective Theory-of-Mind) 기반 인간 정제를 결합한 2단계 인간 참여(human-in-the-loop) 파이프라인을 개발하였으며, 인간의 상태, 긴급성, 실행 가능성, 잠재적 위험에 대한 맥락적 판단을 행동 주석에 명시적으로 반영한다. 이러한 지도를 바탕으로, 우리는 대표적인 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)들을 벤치마크하고, 멀티모달 관측에서 인지적으로 근거 있는 상위 수준 행동으로의 매핑을 암묵적으로 학습하는 참조 모델인 \textit{MMC2Act}를 소개한다. 모달리티 설정, 피험자 비중첩(subject-disjoint) 일반화, 데이터셋 간 전이, 그리고 인간 평가에 걸친 실험 결과, 범용 MLLM은 멀티모달 단서로부터 상위 수준 행동을 선제적으로 추론하는 데 어려움을 겪는 반면, \textit{ProAction}으로 학습할 경우 성능이 크게 향상됨을 보여준다.
Bubblenet: A Disperse Recurrent Structure To Recognize Activities
DoRF++: 강건한 Wi-Fi 센싱을 위한 도플러 래디언스 필드 기반 구면 표현 학습
DoRF++: Spherical Representation Learning over Doppler Radiance Fields for Robust Wi-Fi Sensing
IEEE 802.11bf가 고급 WLAN 센싱 표준화를 추진하는 가운데, 비침해적·무기기·프라이버시 보존형 활동 및 제스처 인식을 위한 Wi-Fi 채널 상태 정보(CSI) 활용에 대한 관심이 빠르게 커지고 있다. 최근 연구는 CSI에서 추출한 도플러 속도 투영이 사람 움직임 속도를 직접 반영하여, 더 강건한 인간 활동 인식(HAR)과 사용자 및 보지 못한 조건에 걸친 일반화를 가능하게 함을 보여 주었다. 그럼에도 실세계 가변성 하에서의 신뢰할 만한 일반화는 Wi-Fi 센싱 도입을 가로막는 핵심 난제로 남아 있다. 이를 해결하기 위해 본 연구는 도플러 래디언스 필드(DoRF)를 기반으로 하며, 컴퓨터 비전(CV)의 신경 래디언스 필드(NeRF) 개념을 Wi-Fi 센싱에 맞게 적용한다. DoRF는 추출된 도플러 속도 투영을 사람 움직임에 대한 희소 가상 카메라 뷰로 취급한다. 이러한 뷰로부터 정규화된 잠재 3차원 모션 디스크립터를 복원하고, 학습된 유효 도플러 방향을 따른 이 디스크립터의 투영이 CSI 관측을 설명한다. 복원된 모션은 단위 구(unit sphere) 위 등각 방향 그리드로 재투영되어 기저 활동의 구면 표현을 만든다. DoRF가 구면 위에 정의된 신호를 생성하므로, 본 논문은 행동 분류를 위해 구면 필드에 quadrature-aware 구면 Transformer를 직접 적용하는 구면 표현 학습 모델 DoRF++를 제안한다. 자체 수집 손 제스처 데이터셋 실험에서 DoRF++는 단일 다중 안테나 수신 액세스 포인트(AP)만 가용한 경우, 특히 어려운 제스처에 대해 교차 사용자 일반화 정확도에서 최신 Wi-Fi 기반 HAR 방법을 눈에 띄게 능가한다.
Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습
Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding
원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.
동역학 및 불확실성을 고려한 트리 기반 가우시안 프로세스 분류기를 이용한 영상 기반 수술 기량 평가
Video-based Surgical Skill Assessment Using Dynamics-and-Uncertainty-Aware Tree-based Gaussian Process Classifier
제안된 파이프라인은 표현-흐름(representation-flow) 합성곱 신경망과 동역학 및 불확실성을 고려한 트리 기반 가우시안 프로세스(Gaussian Process) 분류기를 통합한다. 이 프레임워크에서 잠재적 운동 동역학(latent motion dynamics)은 판별적 표현(discriminative representation)으로 활용되는 동시에 입력 불확실성의 원천으로도 활용되어, 시간적 변화와 비정상적인 동작 전환에 대한 견고성을 향상시킨다. 기존의 심층 학습 접근법과 비교했을 때, 제안된 전략은 더 적은 학습 데이터를 필요로 하며 계산 효율성이 향상된다. 분류 성능을 더욱 향상시키기 위해, 수술 영상 특징에 내재된 의미론적(semantic), 흐름(flow), 동역학(dynamic) 정보를 효과적으로 포착하는 새로운 의미 인식 복합 커널(semantic-aware compound kernel)을 도입한다. 또한 복합 커널 프레임워크의 견고성과 실용적 적용 가능성을 강화하기 위해 불확실성 인식 커널(uncertainty-aware kernel)을 개발한다. 제안된 방법은 두 가지 벤치마크 데이터셋, 즉 JIGSAWS와 Cataract-LMM(Capsulorhexis) 데이터셋에서 평가되었다. 실험 결과는 두 데이터셋 모두에서 강력한 성능을 보여주며, JIGSAWS에서의 LOSO 및 LOUO 평가 프로토콜을 포함하여, 특히 JIGSAWS에서의 피험자 독립적(subject-independent) LOUO 프로토콜에서 프레임워크는 96.9%의 평균 정확도(mean accuracy)를 달성한다. 피험자 내(within-subject) LOSO 프로토콜 하의 결과는 선행 연구와의 비교 가능성을 위해 보고되었으며, 계산 비용을 크게 절감하면서도 경쟁력 있는 정확도를 달성한다. 전체적으로, 제안된 파이프라인은 영상 기반 수술 기량 평가를 위한 효율적이고 정확한 프레임워크를 제공한다.
정신분열증 인지 재활을 위한 상호작용형 비전-언어 플랫폼
An Interactive Vision Language Platform for Cognitive Remediation in Schizophrenia
인지 재활 과제는 종종 환자가 객체 조작과 순차적 추론을 포함하는 구조화된 행동을 수행하도록 요구한다. 정신분열증으로 진단받은 환자에게 이러한 과제는 심각한 인지 결손을 다루는 데 중요하다. 그러나 이러한 신체적 행동의 정확성을 평가하는 것은 일반적으로 임상의의 수동 관찰에 의존하며, 이는 주관성을 초래하고 치료적 개입의 확장성을 제한한다. 본 논문에서는 정신분열증 재활을 위한 인지 재활 과제에서 행동 검증을 위해 Vision-Language Model(VLM)에 기반한 자동화 프레임워크를 제안한다. 제안된 시스템은 도로, 회전 교차로, 공원, 장난감 차량 등을 포함한 구조화된 미니어처 장면으로 구성된 카메라 모니터링 탁상 환경에 의존한다. 환자는 장난감 차량을 조작하여 수행할 목표 지향적 공간 행동을 설명하는 음성 지시를 받는다. 이러한 상호작용형 신체 활동은 지속적 어텐션(sustained attention), 운동 협응, 공간 탐색, 인지 유연성과 같은 표적 인지 기능을 자극하도록 특별히 설계되었다. 연속적인 임상 감독 없이 수행된 행동의 정확성을 검증하기 위해, 시스템은 환자의 손과 장난감 움직임을 추적하는 영상 피드를 분석한다. 파인튜닝된 비전-언어 모델은 기록된 영상 시퀀스를 해석하고 관찰된 활동에 대한 의미론적 설명을 생성하여, 초기 텍스트 지시에 대한 수행된 행동의 고수준 검증을 가능하게 한다. 제안된 접근법을 평가하기 위해 4634개의 탁상 인지 재활 영상 시나리오로 구성된 전용 데이터셋을 수집했다. 실험 결과, 우리의 특화된 프레임워크가 저수준 물리적 텔레메트리와 고수준 임상 피드백을 효과적으로 연결하며, 고급 인지 재활을 위한 확장 가능하고 객관적인 해결책을 제시함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.