It's Difficult to be Neutral -- Human and LLM-based Sentiment Annotation of Patient Comments
원문 초록
Sentiment analysis is an important tool for aggregating patient voices, in order to provide targeted improvements in healthcare services. A prerequisite for this is the availability of in-domain data annotated for sentiment. This article documents an effort to add sentiment annotations to free-text comments in patient surveys collected by the Norwegian Institute of Public Health (NIPH). However, annotation can be a time-consuming and resource-intensive process, particularly when it requires domain expertise. We therefore also evaluate a possible alternative to human annotation, using large language models (LLMs) as annotators. We perform an extensive evaluation of the approach for two openly available pretrained LLMs for Norwegian, experimenting with different configurations of prompts and in-context learning, comparing their performance to human annotators. We find that even for zero-shot runs, models perform well above the baseline for binary sentiment, but still cannot compete with human annotators on the full dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
You Frame It: 개념적 표현이 반유대주의에 대한 LLM 탐지 및 추론을 어떻게 형성하는가
You Frame It: How Conceptual Representations Shape LLM Detection and Reasoning about Antisemitism
대규모 언어 모델(LLM)은 추론 시점에 외부 개념 자원의 통합을 가능하게 하여, 반유대주의와 같이 이념적·역사적으로 복잡한 현상을 탐지하는 새로운 기회를 창출한다. 본 연구는 서로 다른 형태의 개념적 그라운딩이 4개의 최신 LLM에 걸쳐 반유대주의 탐지 및 설명 동작에 어떤 영향을 미치는지 조사한다. 전문가 주석 데이터셋 두 개를 활용하여 반유대주의에 대한 정의적 표현, 세분화된 분류체계적 표현, 예시 보강 표현, 대규모 맥락 표현을 비교한다. 세분화된 분류체계적 표현은 재현율을 크게 향상시키는 동시에 정밀도를 낮춘다는 사실을 발견하였다. 놀랍게도 훨씬 더 큰 개념 자원을 제공하더라도 추가적인 정량적 이점은 나타나지 않는다. 홀로코스트 이후 반유대주의는 모든 모델과 구성에 걸쳐 가장 지속적인 도전 과제로 남는다. 설명에 대한 분석은 개념적 참조의 과잉 생성, 어휘적 단서에 대한 의존, 과신, 그리고 미묘하거나 정당화 형태의 반유대주의에 대한 처리 어려움 등 체계적인 한계를 추가로 드러낸다. 본 연구의 결과는 반유대주의 탐지 및 추론을 위한 개념적으로 그라운딩된 LLM의 잠재력과 남아 있는 한계를 모두 부각시킨다.
PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합
PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models
감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.
LLM은 CBT 기반 감정 추론에서 어디에 취약한가?
Where do LLMs Fall Short in CBT-Guided Affective Reasoning?
인지행동치료(CBT, Cognitive Behavioral Therapy)는 인지적·행동적 요인 간의 상호작용을 분석하여 사용자의 정신 상태를 이해하는 구조화된 프레임워크를 제공한다. 그러나 기본 상태의 대규모 언어 모델(LLM)은 유창하고 공감적으로 응답하면서도, 사용자의 실제 필요와 무관하게 검증 및 반영(Validation & Reflection) 패턴으로 수렴하는 경향이 있다. 이들은 이론적 CBT 지식을 갖추고 있어(면허 시험 문제에서 최대 96% 정확도를 기록) 있지만, 이를 효과적으로 적용하는 데는 실패한다. 본 연구는 CBT 대화를 통제된 감정 추론으로 다루는 지식 유도 프레임워크를 통해 이 격차를 탐구한다. 구체적으로, 사용자 서술을 Beck의 인지 개념화(Cognitive Conceptualization) 구조로 분해하고, 자연어 추론을 통해 검증된 임상 SNOMED CT 개념에 기반하며, 검증 및 반영, 소크라테스식 질문(Socratic Questioning), 대안적 관점(Alternative Perspectives) 중에서 전략을 선택하는 다중 사고의 연쇄(MCoT, Multiple Chain-of-Thought) 전략을 적용한다. 이러한 유도가 실제로 행동 변화를 일으키는지 측정하기 위해, 개입이 모델을 기본 응답에서 얼마나 멀리 이동시키는지를 포착하는 행동 수준 지표인 프로토콜 레버리지 포스(F, Protocol Leverage Force)를 도입한다. 세 가지 오픈 가중치 LLM과 RealCBT 기반의 14개 사례 연구를 대상으로, 인간 전문가 평가, 유의성-각성(valence-arousal) 궤적, 언어적 동조화(linguistic entrainment)를 통해 평가한 결과, 단일 사고의 연쇄 프롬프팅으로 프로토콜 정의를 도입하는 것만으로는 LLM 행동을 변화시키지 못하는 반면, 이러한 정의에 대한 MCoT는 전략 선택을 더 잘 유도하는 것으로 나타났다. 그럼에도 그 효과는 1% 이내(약 1.2–1.3%)에 머물렀으며, 모든 모델은 검증 및 반영에 대한 편향을 유지하였다. 이러한 결과는 CBT 지식만으로는 효과적인 적용이 보장되지 않음을 보여주며, 감성 컴퓨팅 커뮤니티에 LLM의 취약 지점을 측정하는 도구를 제공한다.
MASTE: 제로샷 속성 감성 삼중항 추출을 위한 멀티 에이전트 파이프라인
MASTE: A Multi-Agent Pipeline for Zero-Shot Aspect Sentiment Triplet Extraction
속성 감성 삼중항 추출(ASTE)은 주어진 리뷰 문장에서 (속성, 의견, 감성) 삼중항을 공동으로 식별하는 과제이다. 대규모 언어 모델(LLM)은 많은 자연어 처리(NLP) 벤치마크에서 강력한 제로샷 성능을 달성하지만, ASTE에서의 효과는 제한적이다. 단일 패스 생성 방식이 모델로 하여금 하나의 디코딩 단계에서 스팬 경계 결정, 의견 그룹화, 감성 극성 판단을 동시에 수행하도록 강제하기 때문이다. 퓨샷 문맥 내 학습(ICL)이나 사고의 연쇄(Chain-of-Thought) 프롬프팅과 같은 일반적인 보완책은 미미한 개선만을 제공하며, 레이블이 부착된 학습 데이터에서 샘플링한 도메인 내 시연이나 세심하게 설계된 추론 프롬프트에 크게 의존한다. 이 둘 모두 제로샷 배포 환경에서는 광범위하게 활용하기 어렵다. 고전적인 에이전트 패러다임에서 영감을 받아, 우리는 제로샷 속성 감성 삼중항 추출을 위한 멀티 에이전트 파이프라인인 MASTE를 제안한다. MASTE는 ASTE를 네 개의 순차적 단계로 분해하며, 각 단계의 전문화된 에이전트가 이전 출력에 대한 명시적 조건화를 통해 서로 다른 구성 하위 과제를 처리한다. 이 설계는 완전히 학습 없는(training-free) 제로샷 ASTE를 가능하게 하며, 다양한 백본 모델과 데이터셋에 걸쳐 일반화된다. 네 가지 ASTE 벤치마크에서 수행한 광범위한 실험 결과, MASTE는 동일한 백본 하에서 제로샷 및 사고의 연쇄 기반 LLM 베이스라인을 크게 능가하며, 레이블이 부착된 삼중항을 전혀 사용하지 않고도 완전 지도학습 방법과의 격차를 좁혔다. 코드는 https://github.com/Hankerlove/MASTE 에서 확인할 수 있다.
페르소나가 에이전트의 Split or Steal 게임 플레이에 미치는 영향
How Personas Can Influence Agents to Play Split or Steal
페르소나는 대규모 언어 모델(LLM) 에이전트를 안내하는 데 자주 활용되지만, 사회적 딜레마 환경에서 전략적 행동을 형성하는 데 있어 그 효과는 여전히 불확실하다. 이를 해결하기 위해, 우리는 반복 Split or Steal 게임에서 페르소나 프롬프트의 영향을 조사하였으며, 이 게임에서 페르소나 기반 에이전트는 고정된 프롬프트로 제어되는 가상 인간(Virtual Human, VH)과 상호작용하였다. 에이전트는 네 가지 오픈 모델(Ministral 3:3b, phi4:14b, Gemma3:12b, Gemma4:e4b)로부터 두 가지 온도 설정(0.3 및 0.7)과 온도 0의 결정론적 결정 방식으로 생성되었으며, VH는 GPT 4.1 mini로 구동되었다. 유럽 포르투갈어로 진행된 각 15라운드씩 총 160개 세션에 걸쳐, 상호 Split 결과가 지배적이었으며(전체 라운드의 약 74%), 활용(exploitation)은 11% 미만의 라운드에서만 발생하였다. 모델 선택은 행동에 유의미한 영향을 미쳤으며, phi4와 Ministral 3:3b는 온도 설정에 관계없이 일관되게 협력적인 태도를 유지한 반면, Gemma3:12b와 Gemma4:e4b는 더 다양한 전략과 결과를 나타냈다. 성격 5요인(Big Five) 특성에 기반한 분석에서는 친사회적(Prosocial) 및 원칙적(Principled) 페르소나가 가장 일관되게 협력적이었던 반면, 분석적(Analytical) 페르소나는 VH를 활용할 가능성이 더 높은 것으로 나타났다. 주제 분석 결과, 우정 관련 대화는 Split 결정과 연관되는 반면, 돈 및 복수 관련 내용은 Steal 결과에서 더 빈번히 나타났으며, 감정 레이블은 주로 중립 또는 긍정으로 분류되어 추가적인 설명력은 제한적이었다. 이러한 결과는 반복 신뢰 게임에서 페르소나 프롬프트와 모델 간 차이의 상호작용을 특성화하며, 구현된 VH와 상호작용하는 인간 참가자를 포함한 계획된 가상 현실 연구의 기준선(baseline)으로 활용된다.
Spider 2.0-AIFunc: 실세계 Text-to-SQL을 AI 네이티브 SQL 워크플로우로 확장
Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows
주요 클라우드 데이터 플랫폼들은 현재 대규모 언어 모델(LLM) 기능을 네이티브 SQL 함수로 제공하고 있으며, 이를 통해 분석가들은 일반 SQL 쿼리 내에서 분류(classification), 필터링, 감성 분석(sentiment analysis), 추출, 유사도 검색, 집계 등의 작업을 수행할 수 있다. 그러나 기존 text-to-SQL 벤치마크는 기존 SQL만을 평가하며, 모델이 이러한 AI 네이티브 SQL을 생성할 수 있는지에 대한 신호를 제공하지 않는다. 우리는 Snowflake 플랫폼에서 여섯 가지 유형의 AI 함수를 다루는 125개의 실세계 데이터베이스에 걸쳐 465개의 검증된 인스턴스로 구성된 벤치마크인 Spider 2.0-AIFunc를 소개한다. 기존 엔터프라이즈 text-to-SQL 벤치마크를 출발점으로 삼아, 에이전트(agent) 기반 파이프라인을 통해 Spider 2.0-AIFunc를 구축하였다. 이 파이프라인은 원본 태스크를 AI 네이티브 형태로 재작성하는 동시에 목표 쿼리를 변환하고 자연어 지시를 정제하여 의도된 AI 네이티브 솔루션을 명확히 하고 모호성을 줄인다. 모든 인스턴스는 릴리즈 전 결과 안정성을 확인하기 위해 시간적으로 분리된 윈도우에서 다중 라운드 반복 실행 프로토콜을 통과한다. 최첨단 언어 모델(language model) 10개를 평가한 결과, 가장 강력한 독점 모델(model)은 67~70%의 실행 정확도에 도달한 반면 최고의 오픈소스 모델은 58.1%를 달성하였으며, 이 격차는 주로 조건 명세, 스키마 그라운딩(schema grounding), AI 함수 파라미터화의 오류에서 비롯된다. 스키마 검색 및 관련 테이블 선택과 같이 전통적인 text-to-SQL 과제를 위해 설계된 에이전트 프레임워크는 AI 네이티브 SQL에 효과적으로 전이되지 않는다. 최소한의 에이전트 설정이 더 정교한 대안과 일관되게 동등하거나 우수한 성능을 보였으며, 이는 해당 프레임워크가 채택하는 전략들이 이 설정에서는 덜 중요함을 시사한다. 데이터는 https://github.com/Leolty/Spider2-AIFunc 에서 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.