개인 맞춤형 디지털 건강 중재를 위한 비디오 내 멀티모달 양가감정 및 주저함 인식
Multimodal Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions
한국어 초록
행동과학을 활용하는 건강 중재(health intervention)는 환자가 건강한 습관을 습득하고 유지하여 의학적 결과를 개선하도록 돕는 프레임워크를 제공함으로써 행동 변화에 초점을 맞춥니다. 대면 중재는 비용이 많이 들고 확장하기 어려우며, 특히 자원이 제한된 지역에서는 더욱 그렇습니다. 디지털 건강 중재는 독립적인 생활과 자가 관리를 지원할 수 있는 비용 효율적인 접근 방식을 제공합니다. 특히 머신러닝을 통해 이러한 중재를 자동화하는 것은 최근 상당한 주목을 받고 있습니다. 양가감정 및 주저함(Ambivalence and hesitancy, A/H)은 개인이 건강 중재를 지연하거나 회피 또는 포기하게 만드는 주요한 원인으로 작용합니다. A/H는 미묘하고 상충되는 감정으로, 특정 행동에 대한 긍정적 평가와 부정적 평가 사이, 혹은 행동 참여에 대한 수용과 거부 사이의 상태에 사람을 놓이게 합니다. 이는 언어, 얼굴 표정, 음성 표현, 신체 언어 등과 같은 모달리티 전반 또는 단일 모달리티 내에서 정서적 불일치로 나타납니다. 전문가가 A/H를 인식하도록 훈련될 수는 있지만, 이를 디지털 건강 중재에 통합하는 것은 비용이 많이 들고 효율성이 떨어집니다. 따라서 자동 A/H 인식은 디지털 건강 중재의 개인 맞춤화 및 비용 효율성에 매우 중요합니다. 본 연구에서는 본질적으로 멀티모달 작업인 비디오 내 A/H 인식을 위한 심층 학습(deep learning) 모델의 적용을 탐구합니다. 특히 본 논문은 지도 학습, 개인 맞춤화를 위한 비지도 도메인 적응, 그리고 대규모 언어 모델(LLM)을 통한 제로샷 추론(zero-shot inference)이라는 세 가지 학습 설정을 다룹니다. 실험은 A/H 인식을 위해 최근 공개된 고유한 BAH 비디오 데이터셋(dataset)에서 수행되었습니다. 실험 결과는 제한적인 성능을 보여주며, 정확한 A/H 인식을 위해서는 더욱 적합화된 멀티모달 모델이 필요함을 시사합니다. 모달리티 내부 및 모달리티 간의 충돌을 활용하기 위해서는 시공간 모델링과 멀티모달 융합을 위한 더 나은 방법이 필요합니다.
원문 초록
Using behavioural science, health interventions focus on behaviour change by providing a framework to help patients acquire and maintain healthy habits that improve medical outcomes. In-person interventions are costly and difficult to scale, especially in resource-limited regions. Digital health interventions offer a cost-effective approach, potentially supporting independent living and self-management. Automating such interventions, especially through machine learning, has recently gained considerable attention. Ambivalence and hesitancy (A/H) play a primary role for individuals to delay, avoid, or abandon health interventions. A/H are subtle and conflicting emotions that place a person in a state between positive and negative evaluations of a behaviour, or between acceptance and refusal to engage in it. They manifest as affective inconsistency across modalities or within a modality, such as language, facial, vocal expressions, and body language. While experts can be trained to recognize A/H, integrating them into digital health interventions is costly and less effective. Automatic A/H recognition is therefore critical for the personalization and cost-effectiveness of digital health interventions. Here, we explore the application of deep learning models for A/H recognition in videos, a multi-modal task by nature. In particular, this paper covers three learning setups: supervised learning, unsupervised domain adaptation for personalization, and zero-shot inference via large language models (LLMs). Our experiments are conducted on the unique and recently published BAH video dataset for A/H recognition. Our results show limited performance, suggesting that more adapted multi-modal models are required for accurate A/H recognition. Better methods for modeling spatio-temporal and multimodal fusion are necessary to leverage conflicts within/across modalities.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
AiSearch: VLM을 활용한 대화형 멀티모달 검색
AiSearch: Interactive Multi-Modal Search with VLMs
현대의 정보 검색(retrieval) 시스템은 자동화되는 동시에 사용자가 실시간으로 결과를 검색하고 개선할 수 있는 대화형(interactive) 특성을 갖추어야 합니다. 본 논문에서는 이미지 및 비디오에 대한 자연어 검색을 위해 비전-언어 모델(VLM)의 제로샷(zero-shot) 역량을 활용하는 유연한 멀티모달 검색 프레임워크인 AiSearch를 제시합니다. AiSearch는 사용자의 의도에 맞게 결과를 맞춤화하기 위한 사용자 피드백 기반의 대화형 검색 정교화를 지원하며, 여러 VLM 전반에 걸친 시각적 벤치마킹을 지원하여 사용자가 작업에 가장 적합한 모델을 선택할 수 있도록 합니다.
시공간 유추를 통한 비디오 태스크의 통합
Unifying Video Tasks via Spatiotemporal Analogy
비디오 모델을 새로운 태스크에 적용하려면 일반적으로 전용 데이터 큐레이션과 미세조정(fine-tuning)이 필요합니다. 시각적 유추(visual analogy)는 문맥 내(in-context)에서 태스크를 지정함으로써 별도의 학습(training)이 필요 없는 대안을 제공하지만, 여전히 이미지 도메인에 국한되어 있습니다. 본 논문에서는 유추 기반 방식이 다양한 비디오 태스크를 통합하고 분포 외(out-of-distribution) 시나리오로 일반화될 수 있는지를 탐구하기 위해, 시공간 캔버스 완성(spatiotemporal canvas completion)을 통해 시각적 문맥 내 학습을 비디오 도메인으로 확장하는 프레임워크인 ViGeo를 소개합니다. 엄격한 학습-테스트 분할을 적용한 다양한 태스크 분류 체계에서 평가한 결과, ViGeo는 학습 시 보지 못한 비디오 조작 및 제로샷(zero-shot) 모달리티(예: 이벤트 카메라)로 일반화됩니다. 마지막으로, 사전학습된 태스크와 연관된 쿼리 형식이 시연(demonstration)을 무시하는 현상인 태스크 내재화(task internalization)를 식별하고, 태스크와 무관한 소량의 데이터를 통해 이러한 지름길(shortcut)을 제거할 수 있음을 보여줌으로써 프롬프트(prompt) 형식과 태스크 정체성 간의 상관관계를 분리할 필요성을 강조합니다.
ASH를 통한 자동 비디오 어노테이션을 향하여: 제로샷 오픈 어휘 다중 객체 추적 및 분할
Towards Automatic Video Annotation with ASH: Zero-Shot Open-Vocabulary Multi-Object Tracking and Segmentation
메모리-어텐션(memory-attention) 기반 비디오 인스턴스 분할(VIS) 방식은 강력한 제로샷(zero-shot) 추적 능력을 입증했으나, 상당한 메모리 요구량으로 인해 짧은 비디오 클립에 국한되며 단일 프롬프트 추론(inference) 설계로 인해 다중 범주 오픈 어휘(open-vocabulary) 추적에 과도한 연산 비용이 발생한다. 본 연구는 임의 비디오의 완전 자동화된 추적 어노테이션을 향한 두 가지 기여를 제시한다. Generalized Presence Token(GPT)은 어떠한 학습(training)된 구성 요소도 수정하지 않고 가상 프롬프트 배치 처리를 통해 N개의 텍스트 프롬프트를 동시에 처리하도록 SAM3의 추론 파이프라인을 재구성하여 이미지 인코딩 비용을 O(N)에서 O(1)로 줄인다. Annotation and Segmentation Handler(ASH)는 데이터셋(dataset)별 추가 학습 없이도 IoU 기반 청크 간 동일성(identity) 매칭을 사용하는 중첩 시간 청크를 통해 메모리-어텐션 VIS 추적기를 임의 길이의 시퀀스로 확장한다. SAM3를 기반으로 구현된 결과 파이프라인인 SAM3-ASH는 완전한 제로샷 조건 하에서 MOTS20에서 최고 수준(state-of-the-art)의 HOTA를 달성하고 추가 7개 벤치마크 전반에 걸쳐 학습된 특화 모델들과 견줄만한 성능을 유지하면서도, 최대 GPU 메모리 소비량을 25GB 미만으로 유지하여 확장 가능하고 학습이 필요 없는(training-free) 자동 비디오 어노테이션을 위한 실용적인 기준선(baseline)을 정립한다.
Cog-VADU: 비디오 이상 행동 탐지 및 이해를 위한 비학습 기반 인지 추론 프레임워크
Cog-VADU: A Training-Free Cognitive Reasoning Framework for Video Anomaly Detection and Understanding
비디오 이상 행동 탐지(VAD)는 비디오 내에서 비정상적인 사건을 시간적으로 특정하는 것을 목표로 합니다. 기존 접근법의 대부분은 데이터셋별 학습과 정제된 주석에 의존하므로 열린 집합(open-set) 시나리오에서의 일반화가 제한적입니다. 대규모 비전-언어 모델(LVLM)에 기반한 최근의 제로샷(zero-shot) 기법들은 이러한 의존성을 완화하지만, 시간적 연속성과 구조화된 추론이 부족한 경우가 많습니다. 본 논문에서는 VAD를 순차적 인지 추론 작업으로 재구성하는 완전한 비학습 기반(training-free) 프레임워크인 Cog-VADU를 제안합니다. Cog-VADU는 비디오 구간에 걸쳐 LVLM을 순환적 추론 체인으로 전개하는 이상 탐지 사고의 연쇄 프롬프팅(CoADTP)을 도입합니다. 시간의 흐름에 따라 구조화된 근거(rationale)를 전파함으로써 모델은 암묵적인 시간적 메모리를 유지하며, 복잡한 이상 행동과 움직임이 큰 정상 활동 간의 견고한 구분을 가능하게 합니다. 신뢰성을 더욱 향상시키기 위해, 텍스트 근거와 시각적 임베딩을 정렬하여 정교하고 안정적인 예측을 위한 의미적 일관성과 시간적 일관성을 강화하는 교차 모달 재순위화 단계를 설계했습니다. 여러 공개 VAD 벤치마크에 대한 광범위한 실험을 통해 Cog-VADU가 경쟁력 있는 제로샷 성능을 달성함을 입증합니다. 또한, 교차 모델 평가에서는 CoADTP가 모델에 구애받지 않는 방식으로 추론 기반 이상 탐지를 일관되게 향상시켜, 실제 응용 분야를 위한 해석 가능하고 일반화 가능한 이상 행동 이해를 제공함을 보여줍니다.
NeuIDO: 물리 정보 기반 4D 월드 모델을 위한 신경 내재 역학 연산자
NeuIDO: Neural Intrinsic Dynamics Operator for Physics-Informed 4D World Models
월드 모델은 환경 역학을 포착하고 미래 궤적을 예측하는 것을 목표로 하며, 체화 지능(embodied intelligence)에 대한 잠재력이 커지고 있다. 물리 정보 기반 4D 생성은 물리 시뮬레이션을 통합하여 3D 객체 상호작용을 예측하며, 월드 모델을 향한 유망한 경로를 제공한다. 그러나 이 패러다임은 세계 역학을 내재화하기보다는 수동으로 부과된 역학적 가정에 의존하므로, 진정한 월드 모델까지는 여전히 격차가 남아 있다. 이 격차를 메우기 위해, 우리는 시각 관측으로부터 통합된 내재 역학 표현을 학습하는 새로운 세계 역학 모델링 프레임워크 NeuIDO를 제안하며, 물리 정보 기반 4D 생성을 월드 모델 방향으로 발전시킨다. 구체적으로, 우리는 월드 모델링을 신경 연산자(neural operator) 학습 문제로 정식화하고, 시각 관측 분포에서 내재 역학 분포로의 일반화 가능한 매핑을 학습하기 위한 2단계 학습 전략을 도입한다. 이 관측-역학 매핑을 바탕으로 NeuIDO는 동영상으로부터 직접 제로샷(zero-shot) 역학 추론을 가능하게 하며, 퓨샷(few-shot) 적응을 통해 복잡한 실세계 역학과 추가로 정렬(alignment)할 수 있다. 광범위한 실험을 통해 NeuIDO가 다양한 시각 관측 아래의 내재 역학을 공유 표현으로 효과적으로 통합하고, 새로운 장면에서 역학을 빠르게 추론함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 pages, 4 figures, ACII 2026. arXiv admin note: substantial text overlap with arXiv:2505.19328