A system for the 2019 Sentiment, Emotion and Cognitive State Task of DARPAs LORELEI project
원문 초록
During the course of a Humanitarian Assistance-Disaster Relief (HADR) crisis, that can happen anywhere in the world, real-time information is often posted online by the people in need of help which, in turn, can be used by different stakeholders involved with management of the crisis. Automated processing of such posts can considerably improve the effectiveness of such efforts; for example, understanding the aggregated emotion from affected populations in specific areas may help inform decision-makers on how to best allocate resources for an effective disaster response. However, these efforts may be severely limited by the availability of resources for the local language. The ongoing DARPA project Low Resource Languages for Emergent Incidents (LORELEI) aims to further language processing technologies for low resource languages in the context of such a humanitarian crisis. In this work, we describe our submission for the 2019 Sentiment, Emotion and Cognitive state (SEC) pilot task of the LORELEI project. We describe a collection of sentiment analysis systems included in our submission along with the features extracted. Our fielded systems obtained the best results in both English and Spanish language evaluations of the SEC pilot task.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습
Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being
추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.
ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.
CPM-MultiAgent: 의료 대화에서 환자 감정의 동적 변화를 시뮬레이션하기 위한 CPM 기반 평가(appraisal) 프레임워크
CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue
대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.
OmniOPSD: 감성 컴퓨팅을 위한 근거-특권 온-정책 자기증류
OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing
멀티모달 대규모 언어 모델(MLLM)은 시각, 음향, 언어적 증거에 대한 섬세한 추론을 가능하게 하여 정서 컴퓨팅을 발전시켰다. 이들의 일반화를 향상시키는 핵심 접근법은 결과 기반 강화학습으로, 기존의 레이블 수준 주석을 최종 답의 정확성에 대한 보상으로 변환한다. 그러나 이 방식의 희소한 시퀀스 수준 지도는 멀티모달 정서 단서를 해석하는 데 필요한 세밀한 안내를 제한적으로만 제공하며, 단서를 잘못 해석한 경우에도 올바른 레이블에 보상을 줄 수 있다. 이 문제를 해결하기 위해 본 논문은 옴니모달 정서 추론을 위한 최초의 온폴리시 자기 증류 프레임워크인 OmniOPSD를 제안한다. OmniOPSD의 핵심은 참조 정서 판단을 의미적 사전 정보로 활용하여 최첨단 MLLM으로부터 오프라인으로 멀티모달 증거를 이끌어 냄으로써, 레이블 수준 지도를 증거가 풍부한 교사 전용 근거(rationale)로 변환하는 것이다. 근거 특권(rationale-privileged) 자기 증류를 통해 학생의 온폴리시 롤아웃과 로컬 자기 교사로부터 얻은 조밀한 증거 기반 토큰 수준 지도를 결합하며, 이에 따라 학생은 고정된 추론 흔적을 모방하는 대신 자신의 궤적을 따라 학습할 수 있다. 오프라인 증거 획득과 로컬 정책 학습의 이러한 분리는 추가적인 사람 주석, 최첨단 모델의 로짓, 또는 온라인 최첨단 모델 호출 없이도 학습을 가능하게 하며, 원래의 과제 입력만으로 학생 단독 추론을 수행하도록 유지한다. 3B와 7B 규모 모두에서 OmniOPSD는 도메인 내 및 도메인 외 평가 모두의 평균 macro-F1에서 지도 미세조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 능가한다. 비교 모델 중에서 세 가지 입력 모달리티 설정 전반의 MER-UniBench 평균 기준 1위를 차지하며, 오디오–비디오–텍스트 입력에서 84.13에 도달하고, MME-Emotion 인식 점수(Rec-S)에서 최고점인 42.4를 달성한다.
AI 정신건강 대화를 통한 수동적 우울증 심각도 추정을 위한 대규모 언어 모델(LLM) 파인튜닝
Fine-tuning LLMs for Passive Depression Severity Estimation from AI Mental Health Dialogue
우울증은 전 세계적으로 장애의 주요 원인이지만, Patient Health Questionnaire-9(PHQ-9)와 같이 검증된 설문지는 종종 작성되지 않아 희소하고 편향된 데이터를 낳는다. AI 정신건강 애플리케이션 사용자는 기분, 수면, 기능 상태를 요청 없이도 자주 서술하며, 이는 증상에 대한 연속적인 기록을 만들어 낸다. 본 연구에서는 이러한 대화만으로 PHQ-9 점수를 예측한다. 많은 임상 언어 과제와 마찬가지로 레이블은 부족하고 불균형하다. 이를 해결하기 위해 Qwen 3.5 27B를 회귀 헤드와 함께 미세 조정하고, 3,111개의 정답 레이블을 최첨단 추론 모델과 반복적으로 학습된 중간 모델들이 생성한 의사 레이블로 증강하여, 점수가 더 균형 잡힌 5,524명의 사용자로 확장하였다. 보류된 422명의 사용자에서 모델은 MAE $= 3.98$, Pearson $r = 0.67$, 임상 기준(PHQ-9 $\geq 10$)에서 AUC $= 0.88$을 달성하였으며, PHQ-9 $\geq 3$부터 PHQ-9 $\geq 24$에 이르는 심각도 기준 전반에서 AUC가 $> 0.80$으로, 모델이 전체 임상 스펙트럼에 걸쳐 우울증 심각도를 포착함을 보여 준다. 이러한 결과는 자기 보고 없이도 수동적인 우울증 모니터링이 가능함을 뒷받침한다.
LLM 응답의 자동 감성 점수에서 나타나는 질의 언어 민감도
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
자동 점수는 대규모 언어 모델이 프롬프트, 제공자, 언어에 걸쳐 브랜드를 어떻게 서술하는지 요약하는 데 자주 사용된다. 이러한 점수는 답변이 다르기 때문에, 점수 측정 도구가 텍스트나 언어에 따라 다르게 작동하기 때문에, 또는 두 가지 이유 모두로 인해 달라질 수 있다. 우리는 저장된 브랜드 레이블 20개, 질의 언어 8개, 제공자 별칭 3개, 프롬프트 식별자 15개를 교차한 설계에서 얻은 12,933개의 응답으로 이 측정 문제를 검토한다. 결과 변수는 다국어 감성 분류기의 부호 있는 승리 클래스 신뢰도이며, 중립이 승리한 경우는 0으로, 긍정과 부정이 승리한 경우에는 부호 있는 신뢰도로 코딩한다. 전체 응답에 적합한 교차 선형 혼합 모형은 적합된 분산의 26.49%를 질의 언어에, 1.46%를 브랜드에 배정한다. 영어를 제외하고 다시 적합한 탐색적 분석에서는 언어에 5.07%, 브랜드에 2.23%가 배정된다. 이 백분율들은 분모가 서로 다르다. 전체 적합 분산은 65.08% 감소하고, 브랜드 분산의 절대량은 46.65% 감소한다. 영어에서는 1,620개의 답변 중 591개가 부정 분류기 점수를 받은 반면, 나머지 일곱 개 언어에서는 11,313개의 답변 중 77개가 부정 점수를 받았다. 이 결과는 원래의 분산 분해가 영어 포함 여부에 매우 민감함을 보여준다. 다만 영어가 인과적 효과를 가진다는 점을 식별하지 못하며, 영어 답변이 브랜드에 대해 더 부정적이라는 점을 입증하지도 않는다. 이 분류기는 트윗 감성에 맞춰 학습되었고, 별도의 대상 브랜드 조건을 입력받지 않으며, 문서화된 감성 미세조정 세트에 포함된 연구 언어는 영어뿐이다. 따라서 자동 점수의 차이는 실질적인 결론을 내리기 전에 답변과 측정 도구 양쪽의 속성으로서 점검되어야 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.