Emotional Intelligence of Large Language Models
원문 초록
Large Language Models (LLMs) have demonstrated remarkable abilities across numerous disciplines, primarily assessed through tasks in language generation, knowledge utilization, and complex reasoning. However, their alignment with human emotions and values, which is critical for real-world applications, has not been systematically evaluated. Here, we assessed LLMs' Emotional Intelligence (EI), encompassing emotion recognition, interpretation, and understanding, which is necessary for effective communication and social interactions. Specifically, we first developed a novel psychometric assessment focusing on Emotion Understanding (EU), a core component of EI, suitable for both humans and LLMs. This test requires evaluating complex emotions (e.g., surprised, joyful, puzzled, proud) in realistic scenarios (e.g., despite feeling underperformed, John surprisingly achieved a top score). With a reference frame constructed from over 500 adults, we tested a variety of mainstream LLMs. Most achieved above-average EQ scores, with GPT-4 exceeding 89% of human participants with an EQ of 117. Interestingly, a multivariate pattern analysis revealed that some LLMs apparently did not reply on the human-like mechanism to achieve human-level performance, as their representational patterns were qualitatively distinct from humans. In addition, we discussed the impact of factors such as model size, training method, and architecture on LLMs' EQ. In summary, our study presents one of the first psychometric evaluations of the human-like characteristics of LLMs, which may shed light on the future development of LLMs aiming for both high intellectual and emotional intelligence. Project website: https://emotional-intelligence.github.io/
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
EmoTrace: 심리 지원 대화 생성을 위한 감정 궤적 중심 프레임워크
EmoTrace: An Emotion Trajectory-Centered Framework for Psychological Support Dialogue Generation
대규모 언어 모델(LLM)을 활용한 심리 상담 지원은 자연어 처리(NLP) 분야의 중요한 과제이다. 고품질 심리 지원 대화 코퍼스 구축은 상담 지향 대화 모델 학습을 위한 핵심 기반이 된다. 그러나 기존 데이터 생성 접근법은 일반적으로 감정적으로 안정적인 내담자, 감정 역학의 제한적 다양성, 상담사 지도에 대한 높은 순응성 등 여러 한계를 갖는다. 이러한 문제로 인해 LLM은 감정적으로 불안정한 상황에 효과적으로 대응할 수 있는 능력이 부족해진다. 또한 상담사 응답은 일반적으로 문제 해결 목표에 의해 주도되어, 심리 상담에 필수적인 감정 중심 상호작용의 역할을 간과한다. 이러한 공백을 해소하기 위해, 우리는 내담자의 감정 궤적 모델링을 중심으로 한 다중 턴 대화 코퍼스 생성 프레임워크인 EmoTrace를 제안한다. 내담자의 인지 프로필을 구성하고, 감정 스키마와 관련 활성화 메커니즘을 갖춘 내담자 모듈, 상담사 모듈, 감정 궤적 제어 모듈을 도입하여 내담자의 감정 표현 계층화와 상담사의 표적 공감 표현을 강화한다. 실험 결과, 제안 방법이 감정적 풍부함과 공감 품질 측면에서 기존 접근법을 능가함을 보여준다.
고수준 의미 지능을 향하여
Towards High-Level Semantic Intelligence
최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다. 이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.
공감적 응답 생성을 위한 동적 상식 조율
Dynamic Commonsense Coordination for Empathetic Response Generation
공감적 응답 생성(Empathetic Response Generation, ERG)은 모델이 사용자의 감정을 인식하고 공감적 응답을 생성해야 한다. 상식 지식이 이러한 추론을 지원하는 것으로 알려져 있지만, 기존 접근법은 이해와 생성 단계 전반에 걸쳐 고정된 상식 표현을 재사용하는 경우가 많아, 서로 다른 단계에서 이러한 지식을 조율하는 능력을 제한한다. 본 연구는 DCC(Dynamic Commonsense Coordination)라는 동적 상식 조율 프레임워크를 제안하며, 이는 세 가지 상호 보완적 모듈로 구성된다: 맥락적·상황적 상식 표현을 통합하는 잔차 기반 상식 상호작용(SCE-AttnRes), 낮은 관련성의 상식 관계 가중치를 낮추는 연관성 기반 상식 필터링(Association-Guided Commonsense Filtering, AGCF), 생성 중 상식 메모리를 동적으로 검색하는 반복적 상식 인지 디코딩(Iterative Commonsense-Aware Decoding, ICAD). Empathetic-Dialogues 벤치마크에서의 실험 결과, DCC는 CEM 기준선 대비 감정 분류 정확도와 응답 다양성을 향상시키면서 perplexity는 유사한 수준을 유지한다. LLM 기반 블라인드 평가는 DCC가 더 나은 관련성, 일관성, 정보성을 갖춘 응답을 생성함을 추가로 보여준다. 코드와 구현 세부사항은 https://github.com/Hanabi-Q/DCC-ERG 에서 공개될 예정이다.
MAPS: 다중 에이전트 인지 대화에서 공존하는 주관적 관점과 공유 의미 모델링
MAPS: Modeling Co-Existing Subjective Perspectives and Shared Meaning in Multi-Agent Cognitive Dialogue
인간 대화는 정보 교환 이상을 포함하며, 신념, 감정, 주관적 인지 스타일을 표현하기도 한다. 그러나 현재 AI 대화 시스템은 종종 의미적 균일성을 강제하여 다양성과 해석 가능성을 희생한다. 우리는 MAPS(Multi-Agent Perspective Spaces)를 제안한다. 이는 도메인 가중 프로필, 동적 GRU 기반 메모리, 해석 가능한 토큰 수준 어텐션을 통해 인지적으로 서로 다른 에이전트 간 대화를 모델링하는 새로운 프레임워크이다. MAPS는 에이전트가 개별화된 추론을 유지하면서 점진적으로 공유 의미에 수렴하도록 한다. EmpatheticDialogues, TopicalChat, MultiWOZ에 대한 평가에서 MAPS가 주관성을 붕괴시키지 않으면서 의미적 정렬(semantic alignment)을 지원함을 보여준다. 우리 결과는 표현력과 일관성을 균형 있게 하는 인지적으로 그라운딩(grounded)되고 해석 가능한 대화 시스템을 향한 경로를 제시한다.
주제·참여자 중심 분해를 활용한 감정 역학 기반 대화 요약
Dialogue Summarization with Emotion Dynamics Using Topic- and Participant-Centric Decomposition
기존 텍스트 요약 연구는 화자나 저자 간 상호작용을 고려하지 않은 채, 단일 화자 정보(예: 신문 기사, 보고서)에 많이 초점을 맞춰 왔다. 반면 대화는 여러 참여자가 의미를 구성하기 위해 주고받는 교환을 수행하는 풍부한 의사소통 채널이다. 우리는 다중 모달 대화 입력을 사용하여 의미적·감정적 역학을 모두 명시적으로 모델링하는 대화 요약 프레임워크를 제안하며, 이는 적응된 계층적 Chain-of-Agents 접근법에 기반한다. 우리는 두 관점에서 대화를 분해한다: (1) 모든 참여자의 발화에 기반한 주제 세그먼트, (2) 참여자별 발화 세그먼트. 이들은 자동으로 추론된 감정을 통합하면서 각각에 대응하는 요약을 생성하는 데 사용된다. 주제 수준 및 참여자 수준 요약은 의미 내용과 감정 궤적을 포착하는 대화 요약으로 집계된다. 내용 정확도를 넘어 평가하기 위해, 우리는 요약이 감정적 흐름을 얼마나 잘 보존하는지 측정하는 감정 궤적 지표를 도입한다. 다중 모달 대화 데이터셋에서 소형 언어 모델을 사용한 실험은 우리 프레임워크가 의미 및 감정 내용을 모두 갖춘 요약을 생성함을 보여준다. 명시적 감정 레이블 가용성에 대한 추가 실험은 제안 방법론의 효과와 언어 모델을 이용한 대화 분석의 기회를 강조한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.