arXiv:2211.12512

NLP meets psychotherapy: Using predicted client emotions and self-reported client emotions to measure emotional coherence

Neha Warikoo, Tobias Mayer, Dana Atzil-Slonim, Amir Eliassaf, Shira Haimovitz, Iryna Gurevych

제출 2022-11-22

원문 초록

Emotions are experienced and expressed through various response systems. Coherence between emotional experience and emotional expression is considered important to clients' well being. To date, emotional coherence (EC) has been studied at a single time point using lab-based tasks with relatively small datasets. No study has examined EC between the subjective experience of emotions and emotion expression in therapy or whether this coherence is associated with clients' well being. Natural language Processing (NLP) approaches have been applied to identify emotions from psychotherapy dialogue, which can be implemented to study emotional processes on a larger scale. However, these methods have yet to be used to study coherence between emotional experience and emotional expression over the course of therapy and whether it relates to clients' well-being. This work presents an end-to-end approach where we use emotion predictions from our transformer based emotion recognition model to study emotional coherence and its diagnostic potential in psychotherapy research. We first employ our transformer based approach on a Hebrew psychotherapy dataset to automatically label clients' emotions at utterance level in psychotherapy dialogues. We subsequently investigate the emotional coherence between clients' self-reported emotional states and our model-based emotion predictions. We also examine the association between emotional coherence and clients' well being. Our findings indicate a significant correlation between clients' self-reported emotions and positive and negative emotions expressed verbally during psychotherapy sessions. Coherence in positive emotions was also highly correlated with clients well-being. These results illustrate how NLP can be applied to identify important emotional processes in psychotherapy to improve diagnosis and treatment for clients suffering from mental-health problems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25186v1cs.CY공통 태그 Emotion Recognition, Diagnostic

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2609.24324v1cs.AI공통 태그 Emotion Recognition, Diagnostic

Brain-Token Learning: 장기 EEG 시퀀스 모델링을 위한 미세상태 기반 토큰화 및 다중 스케일 상호작용

Brain-Token Learning: Microstate-Based Tokenization and Multi-Scale Interaction for Long-Horizon EEG Sequence Modeling

뇌전도(EEG)는 동적인 뇌 활동을 파악할 수 있는 비침습적 창을 제공하지만, 장기(long-horizon) EEG 시퀀스를 모델링하는 것은 높은 시간적 복잡도, 피험자 간의 상당한 변동성, 생물학적으로 유의미한 시퀀스 표현의 부재로 인해 여전히 어려운 과제로 남아 있습니다. 고정 윈도우 및 패치 기반 표현과 같은 기존의 토큰화(tokenization) 전략은 인위적인 시간적 경계에 따라 EEG 신호를 이산화하므로, 본질적인 뇌 상태 역학을 훼손할 수 있습니다. 본 연구에서는 장기 EEG 시퀀스 모델링을 위해 뇌 토큰화(Brain Tokenization)를 도입한 신경과학 기반 프레임워크인 Brain-Token Learning을 제안합니다. Brain Tokenization은 EEG 신호를 사전 정의된 시간 세그먼트로 분할하는 대신, 반복되는 미세상태(microstate)에서 파생된 뇌 토큰(token)의 시퀀스로 표현하며, 각 토큰은 가변적인 시간적 지속 기간을 갖는 준안정적(quasi-stable) 대규모 뇌 상태에 대응합니다. 이러한 생물학적 근거를 둔 토큰을 기반으로, 저자들은 전역적 뇌 상태 문맥과 국소적 미세상태 전이를 공동으로 포착하기 위해 잠재 상태 집약(Latent State Aggregation) 및 상태 전이 모델링(State Transition Modeling)으로 구성된 다중 스케일 토큰 상호작용 모듈을 추가로 개발합니다. 저자들은 새로 수집된 장기 NeuroLong 데이터셋(dataset)과 4개의 정서적 또는 임상적 EEG 데이터셋(SEED, DEAP, MDD, NSSI)을 포함한 5개의 이종 EEG 데이터셋에서 Brain-Token을 평가(evaluation)합니다. 광범위한 실험을 통해 Brain-Token이 다양한 EEG 시나리오 전반에서 기존의 CNN/LSTM 아키텍처, 트랜스포머(Transformer) 기반 모델, 도메인 적응 기법들을 일관되게 능가함을 입증합니다. 추가 분석을 통해 강건하고 해석 가능한 EEG 표현을 학습(training)하는 데 있어 미세상태 기반 토큰화 및 다중 스케일 상호작용의 효과를 검증합니다. 이러한 결과는 Brain-Token이 장기 EEG 시퀀스 모델링을 위한 생물학적 근거를 갖춘 토큰화 패러다임임을 확립합니다.

arXiv:2607.22794v1cs.LG공통 태그 Emotion Recognition, Diagnostic

우울증 탐지를 위한 멀티모달 도메인 일반화: 어텐션 기반 BiLSTM 네트워크와 도메인 적대적 학습

Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training

심층 학습을 이용한 자동 우울증 탐지는 유망한 결과를 보여왔지만, 화자 간 변동성에서 기인하는 도메인 시프트(domain shift)로 인해 일반화가 제한되는 경우가 많다. 이러한 중요한 문제를 해결하기 위해, 우리는 도메인 일반화(DG)를 통합한 최초의 환자 독립적 멀티모달 우울증 탐지 프레임워크를 제안하며, 음향 및 텍스트 모달리티를 공동으로 활용한다. 제안 모델은 양방향 장단기 메모리(BiLSTM)와 모달 내 및 교차 모달 어텐션 메커니즘을 통합하고, 의사결정을 위해 세그먼트 수준 융합을 수반한다. 일반화는 신경망의 도메인 적대적 학습(DANN)에서 영감을 받은 그래디언트 역전 층을 적용하여 더욱 향상되며, 이는 모델이 개별 화자를 식별하는 능력을 적대적으로 제한함으로써 도메인 불변 표현을 촉진하고, 효과적으로 환자 특이적 바이어스를 줄인다. Androids-Corpus 데이터셋에서 5-겹 교차 검증(CV) 프로토콜로 실험을 수행하여, 다양한 세그먼트 길이에 걸쳐 오디오 및 텍스트 특징 추출기의 다양한 조합을 평가했으며, 30초 세그먼트 길이에서 MelSpec과 ItalianBERT를 최적 기준선으로 확인했다. 이 기준선에 DG를 추가하면 정확도가 2.5%, F1 점수가 3.3% 향상되어, 정확도 93.2%, 정밀도 93.2%, 재현율 96.2%, F1 점수 94.2%를 달성하며 기존의 모든 벤치마크를 능가한다. 광범위한 ablation 연구를 통해 멀티모달 융합, 심층 아키텍처 선택, DG의 영향을 평가하고, 이들이 견고하고 일반화 가능한 우울증 탐지에 기여하는 결합적 효과를 강조한다.

arXiv:2607.22304v1cs.LG공통 태그 Emotion Recognition, Diagnostic

합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.

arXiv:2607.19722v1cs.CV공통 태그 Emotion Recognition, Diagnostic

ReFace: 통증 평가 개선을 위한 얼굴 시공간 표현 재구성

ReFace: Reorganizing Facial Spatiotemporal Representations for Improved Pain Assessment

얼굴 영상을 이용한 자동 통증 평가는 통증 관련 얼굴 단서의 공간적 이질성(spatial heterogeneity) 때문에 여전히 어려운 과제이다. 본 연구는 ReFace를 제안한다. ReFace는 전체 얼굴을 단일 영역으로 처리하는 대신, 토큰화(tokenization) 이전에 얼굴 입력을 네 개의 공간적 사분면(spatial quadrants)으로 나누는 공간 재구성(spatial reorganization) 파이프라인이다. AI4Pain 데이터셋에서 평가한 결과, 제안 방법은 영상만을 사용하여 테스트 세트에서 56.00% 정확도를 달성했으며, 비교된 방법들 중 고정된 AI4Pain 벤치마크 프로토콜 하에서 보고된 최고 정확도를 기록했다. 주목할 점은, 사분면 구성이 전체 얼굴 입력과 동일한 총 픽셀 예산(pixel budget)을 처리하면서도 더 높은 정확도를 달성했다는 것으로, 이는 제안된 토큰화 설계 하에서 공간 재구성이 성능을 향상시킬 수 있음을 시사한다. 단일 사분면 영역은 해당 픽셀의 4분의 1만 처리하면서도, 계산 비용의 일부만으로 경쟁력 있는 성능을 유지한다.

arXiv:2607.22862v2cs.NE공통 태그 Diagnostic

매개변수화된 CEC 2017 벤치마크를 이용한 변환의 민감도 분석

Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark

CEC 2017은 편향(bias), 이동(shift), 회전(rotation)을 동시에 적용하므로 각각이 알고리즘 동작에 미치는 개별 효과가 가려진다. 우리는 원래의 함수와 변환 데이터를 보존하면서 이들을 독립적으로 제어하는 매개변수화된 구현을 소개한다. 이를 이용하여, 예측 후보 메커니즘이 수치적 목적함수 값과 좌표별 재구성에 의존하는 하이브리드 해양 포식자 알고리즘(hMPA)을 진단한다. 심층 통계 비교(DSC)와 확장 DSC(eDSC)를 알고리즘 수준의 비교에서 구성 수준의 진단으로 적응시켰다. 우리가 아는 한, 이는 매개변수화된 CEC 2017 벤치마크의 편향-이동-회전 8개 구성 전체에 대한 최초의 철저한 DSC 및 eDSC 분석이다. 29개 함수, 차원 10, 30, 50, 100, 30회의 독립 실행, 차원당 10,000회의 목적함수 평가라는 고정 예산을 사용하여, 가능한 56개의 3개 구성 부분집합 전부와 변환하지 않은 대조군과의 비교를 검토한다. DSC와 eDSC는 모든 차원에서 구성 간 통계적으로 유의한 차이를 보이지만, 순위는 함수에 따라 달라 일관된 순서를 정할 수 없다. 대부분의 개별 효과 크기 신뢰구간은 0을 포함한다. 0을 포함하지 않는 경우 중에서는, 차원 10에서는 MPA가, 차원 50과 100에서는 hMPA가 유리한 비교가 더 많다. 이동은 대체로 목적함수 값 결과를 악화시킨다. 단독 회전은 체계적인 성능 저하를 일으키지 않으며, 단독 편향은 최종 해 분포를 거의 바꾸지 않는다. 이동과 회전의 결합은 대조군과 가장 일관되게 다르다. 수렴 곡선은 함수 및 차원에 따라 달라지는 분리, 정체 구간, 후반부 개선을 보여 준다. 수치적 결과는 hMPA에 한정되지만, 이 프레임워크는 다른 연속 최적화 알고리즘으로 확장될 수 있고 CEC 2024 및 CEC 2025를 포함한 관련 CEC 벤치마크에도 적용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.