한국어 초록
감정 데이터셋(dataset)은 각 감정 범주에 하나의 극성을 할당함으로써 긍정 및 부정의 정서가(valence)로 일상적으로 매핑됩니다. 본 연구에서는 SemEval-2018 Affect in Tweets(영어, 아랍어, 스페인어), EmoBank와 정렬된 Affective Text, 가공되지 않은 GoEmotions 주석, 자연스러운 해시태그 말뭉치, 통제된 주석 연구를 활용하여 이러한 방식이 작동하는 경우와 실패하는 경우를 검증합니다. 고정된 투영은 텍스트가 단일 정서가의 레이블을 가질 때는 잘 작동합니다. 그러나 레이블만으로도 식별 가능한 하위 집합, 즉 감정 레이블들이 상반된 방향을 가리키는 트윗에서는 실패합니다. 이들은 극성을 지닌 SemEval 테스트 트윗의 9.0%에 불과하지만 학습된 투영의 극성 오류 중 54.8%를 유발하며, 중립 또는 복합(neutral-or-mixed) 정답 레이블을 받을 가능성이 두 배 이상 높고, 전체 레이블 집합을 모델링하더라도 구제되지 않습니다. 어노테이터들은 이러한 구성을 일상적으로 생성하며, 다중 레이블 GoEmotions 판단의 16.3%는 데이터셋 자체의 긍정 및 부정 상위 범주에 속한 감정들을 결합합니다. 단어와 독자를 일정하게 유지한 통제 연구에서, 문맥은 대조군의 19.9%에 비해 56.8%의 경우에서 거친 정서가 판단을 변화시켰습니다. 본 연구에서는 개별 레이블 대신 레이블 구성을 투영하고, 레이블이 충돌하는 경우 기권하거나 복합 클래스를 유지하며, 정확도와 함께 커버리지(coverage)를 보고할 것을 권장합니다.
원문 초록
Emotion datasets are routinely mapped onto positive and negative valence, by assigning each emotion category one polarity. We test where this works and where it fails, using SemEval-2018 Affect in Tweets (English, Arabic, Spanish), Affective Text aligned with EmoBank, raw GoEmotions annotations, naturalistic hashtag corpora, and a controlled annotation study. Fixed projection works well when a text carries labels of one valence. It fails on a subset identifiable from the labels alone: tweets whose emotion labels point in opposite directions. These are 9.0% of polar SemEval test tweets but cause 54.8% of the polarity errors of a learned projection, are more than twice as likely to receive a neutral-or-mixed gold label, and are not rescued by modeling the full label set. Annotators produce such configurations routinely: 16.3% of multilabel GoEmotions judgments combine emotions from the dataset's own positive and negative parents. In a controlled study holding word and reader constant, context changes the coarse valence judgment in 56.8% of cases, against 19.9% for controls. We recommend projecting label configurations rather than labels, abstaining or keeping a mixed class where labels conflict, and reporting coverage alongside accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue
OmniOPSD: 감성 컴퓨팅을 위한 근거-특권 온-정책 자기증류
OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing
REFLECT: 감성, 감정, 공손함, 격식성에 대한 역할 인식 탐지
REFLECT: Role-Aware Detection of Sentiment, Emotion, Politeness, and Formality
대화에서 의사소통적 의미를 탐지하기 위해서는 어휘적 내용뿐 아니라 감성, 감정, 공손함, 격식성(SEPF)이 표현되는 참여자 역할 구조도 모델링해야 한다. 기존 접근법들은 문맥적 언어 표현에 의존하면서 의미역(semantic role)은 암묵적으로 남겨둔다. 본 연구에서는 네 가지 SEPF 차원을 이론에 기반한 의미역 레이블링(Semantic Role Labeling, SRL) 구성에 매핑하고, 이 구성을 트랜스포머의 셀프 어텐션(self-attention) 메커니즘에 직접 통합하는 역할 인식(role-aware) 트랜스포머 아키텍처를 제안한다. 역할 인식 어텐션은 방향성이 없는 내적 상태(감성 및 감정)를 모델링하며, 방향성을 갖는 역할 인식 어텐션은 외적 신호(공손함 및 격식성)에 대한 발화자-수신자(initiator-to-recipient) 관계를 포착한다. 이렇게 얻어진 역할 인식 표현은 의미역을 보조 특징(feature) 벡터로 덧붙이는 방식이 아니라, 각 입력이 기여하는 역할 정보의 양을 적응적으로 가중하는 학습된 게이트(gate)를 통해 문맥 임베딩(contextual embedding)과 융합된다. 네 개의 벤치마크(benchmark) 데이터셋에 걸쳐, 이 프레임워크는 강력한 BERT 기반 베이스라인에 비해 감정, 공손함, 격식성에서 통계적으로 신뢰할 수 있는 성능 향상을 보였으며, 그 향상은 저빈도의 복잡한 감정이나 매우 공손한 표현과 같이 이론적으로 예측된 경우에 집중되었다. 반면 감성에서의 향상은 미미하고 통계적으로 유의하지 않았는데, 이는 감성이 참여자 역할 구조보다는 어휘 선택을 통해 더 많이 전달됨을 시사한다. 실제 데이터에 대한 추가 평가는 이 프레임워크가 예측 성능과 모델 추적 가능성(traceability)을 모두 향상시킨다는 것을 보여준다. 이러한 결과는 트랜스포머 셀프 어텐션에 대한 언어학적으로 근거 있는 수정이 의사소통적 의미 탐지를 향상시키고, 벤치마크 데이터셋을 넘어 실제 정신 건강(mental-health) 데이터로도 일반화되며, 예측 성능을 넘어 해석 가능성(interpretability)까지 확장하는 추적 가능하고 역할에 근거한 설명을 제공함을 보여준다.
종단적 학생 건강 모니터링을 위한 웨어러블 센싱의 보완재로서 짧은 정서적 텍스트에 대한 형성적 연구
A Formative Study of Brief Affective Text as a Complement to Wearable Sensing for Longitudinal Student Health Monitoring
웨어러블 기기는 생체 및 행동 데이터를 점점 더 높은 정확도로 포착하지만, 이러한 결과를 형성하는 심리적 맥락은 센서 데이터만으로는 복원하기 어려워 조기 조난 신호 감지, 맞춤형 개입, 적시의 임상적 지원과 같은 디지털 헬스 목표를 위한 수동적 센싱(passive sensing)의 유용성을 제한합니다. 본 연구에서는 매우 짧은 일상적 고민 텍스트가 수동적 센싱을 위한 확장 가능한 보완재 역할을 할 수 있는지 살펴보았습니다. Oura ring으로 추적 관찰된 대학생 458명을 대상으로 한 1년간의 연구(3,610 person-waves)에서, 참가자들은 가장 걱정되는 점에 대한 개방형 프롬프트에 격월로 응답하였으며, 응답의 중간값 길이는 세 단어였습니다. 본 연구에서는 짧은 일상적 텍스트에서 생리학적으로 유의미한 신호를 가장 잘 복원하는 방법을 파악하기 위해 사전 기반, 범용 사전학습, 도메인 적응형 자연어 처리(NLP) 접근 방식을 9가지 수면 및 신체 활동 결과를 대상으로 개인 내 혼합 효과 모델(within-person mixed-effects models)을 사용하여 비교했습니다. 학업에 대한 걱정 표현이 주를 이룬 주간은 신체 활동량 감소와 관련이 있었으며, 정서적 탈진 언어가 두드러진 주간은 수면 질 저하 및 심박 변이도(heart rate variability) 감소와 관련이 있었습니다. 범용 사전학습 임베딩은 대부분의 결과에서 도메인 적응 모델만큼 우수하거나 더 나은 성능을 보였으며, 두 모델 간의 차이는 대체로 미미하고 추정 오차 범위 내에 있었습니다. 고민 주제에 대한 제로샷(zero-shot) 분류는 결과와의 연관성에 대해 일관된 증거를 보이지 않은 반면, 세 가지 방법 전반에 걸친 정서적 차원은 더 많은 연관성을 나타냈으나 다중 비교 보정(correction for multiple comparisons)을 통과하지는 못하여 주제별 내용보다 정서적 분위기(emotional register)가 더 많은 신호를 담고 있을 수 있다는 초기 증거를 제공했습니다. 이러한 결과는 디자인 가이드라인을 제공합니다. 즉, 매우 짧은 정서적 프롬프트는 최소한의 부담으로 수동적 생체 데이터의 심리학적 해석 가능성을 풍부하게 합니다.
일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.