"이 사람이 정말 인간 동료 지원가인가요?": LLM 지원 상호작용에서 동료 지원가와 전문가 간의 불일치
"Is This Really a Human Peer Supporter?": Misalignments Between Peer Supporters and Experts in LLM-Supported Interactions
한국어 초록
정신 건강은 전 세계적으로 커져가는 문제이며, 이는 심리사회적 지원에 대한 접근성을 확대하기 위한 AI 기반 솔루션에 대한 관심을 불러일으키고 있습니다. 실제 경험에 기반한 동료 지원(peer support)은 전문적인 치료를 보완하는 귀중한 대안을 제공합니다. 그러나 훈련(training), 효과성, 정의의 다양성으로 인해 품질, 일관성 및 안전성에 대한 우려가 제기됩니다. 대규모 언어 모델(LLM)은 특히 실시간 텍스트 기반 상호작용에서 동료 지원 상호작용을 향상시킬 수 있는 새로운 기회를 제공합니다. 본 논문에서는 LLM으로 시뮬레이션된 고통받는 내담자(SimClient), 문맥을 고려한 LLM 생성 제안(Suggestions), 실시간 감정 시각화 기능을 갖춘 AI 지원 시스템을 제시하고 평가합니다. 12명의 동료 지원가와 6명의 정신 건강 전문가를 대상으로 한 2건의 혼합 연구 방법(mixed-methods)을 통해 시스템의 효과성과 실무적 시사점을 검토했습니다. 두 그룹 모두 교육을 강화하고 상호작용 품질을 개선할 수 있는 잠재력을 인정했습니다. 그러나 우리는 핵심적인 긴장 관계가 나타남을 발견했습니다. 동료 지원가들은 유의미하게 참여한 반면, 전문가들은 고통 신호 누락 및 조급한 조언 제공 등 동료 지원가의 응답에서 나타나는 중대한 문제점들을 일관되게 지적했습니다. 이러한 불일치는 특히 안전성과 모범 사례 준수가 필수적인 감정적으로 격앙된 상황에서 현재 동료 지원 교육의 잠재적 한계를 부각합니다. 본 연구 결과는 특히 동료 지원이 전 세계적으로 확장됨에 따라 표준화되고 심리학적 근거를 갖춘 교육의 필요성을 강조합니다. 또한 세심하게 설계되고 전문가의 감독을 받는다면 LLM 지원 시스템이 이러한 역량 개발을 어떻게 뒷받침할 수 있는지 보여줍니다. 본 연구는 정신 건강 분야에서의 책임 있는 AI 통합과 동료 제공 치료를 증강하는 LLM의 진화하는 역할에 관한 새로운 논의에 기여합니다.
원문 초록
Mental health is a growing global concern, prompting interest in AI-driven solutions to expand access to psychosocial support. Peer support, grounded in lived experience, offers a valuable complement to professional care. However, variability in training, effectiveness, and definitions raises concerns about quality, consistency, and safety. Large Language Models (LLMs) present new opportunities to enhance peer support interactions, particularly in real-time, text-based interactions. We present and evaluate an AI-supported system with an LLM-simulated distressed client (SimClient), context-sensitive LLM-generated suggestions (Suggestions), and real-time emotion visualisations. 2 mixed-methods studies with 12 peer supporters and 6 mental health professionals (i.e., experts) examined the system's effectiveness and implications for practice. Both groups recognised its potential to enhance training and improve interaction quality. However, we found a key tension emerged: while peer supporters engaged meaningfully, experts consistently flagged critical issues in peer supporter responses, such as missed distress cues and premature advice-giving. This misalignment highlights potential limitations in current peer support training, especially in emotionally charged contexts where safety and fidelity to best practices are essential. Our findings underscore the need for standardised, psychologically grounded training, especially as peer support scales globally. They also demonstrate how LLM-supported systems can scaffold this development--if designed with care and guided by expert oversight. This work contributes to emerging conversations on responsible AI integration in mental health and the evolving role of LLMs in augmenting peer-delivered care.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
AI 정신건강 대화를 통한 수동적 우울증 심각도 추정을 위한 대규모 언어 모델(LLM) 파인튜닝
Fine-tuning LLMs for Passive Depression Severity Estimation from AI Mental Health Dialogue
AI 매개 자아: 인간-컴퓨터 상호작용(HCI)이 자아를 정의하고 관계 맺는 방식
AI-Mediated Self: How HCI Defines and Relates to the Self
AI는 우리가 자아(self)를 이해하고 경험하는 방식을 어떻게 변화시킬 수 있을까요? 본 주제 범위 고찰(scoping review)에서는 102편의 논문을 분석하여 인간-컴퓨터 상호작용(HCI) 분야에서 자아가 어떻게 정의되는지, AI와 자아의 관계가 어떻게 개념화되는지, 그리고 AI가 자아성과 얽힐 때 어떠한 위험이 발생하는지 살펴봅니다. 본 연구의 종합적 고찰은 세 가지 기여점을 제시합니다. 첫째, 교육, 직장, 건강, 창작 활동 전반에 흩어져 있는 연구들을 연결하는 개념적 포괄 개념(umbrella term)으로서 'AI 매개 자아(AI-mediated self)'를 정의합니다. 둘째, 자아에 대한 여섯 가지 프레이밍을 주체성/자율성, 정체성/저작권(authorship), 관계적 역량, 의미 부여라는 네 가지 윤리적 위험 영역과 통합하여, 다양한 맥락에서 재사용 가능한 어휘를 제공하는 개념도를 구축합니다. 셋째, AI와 자아의 관계를 근접성 스펙트럼상에 위치시키는 'AI-자아 포함(Inclusion of AI-Self)' 프레임워크를 도입합니다. 이러한 기여점들을 종합하여, 본 연구는 자아성을 HCI의 핵심 디자인 공간으로 자리매김합니다.
Mental-R1: 정신 건강 평가를 위한 LLM 추론 정렬
Mental-R1: Aligning LLM Reasoning for Mental Health Assessment
불안, 우울, 자살과 같은 정신 건강 문제는 여전히 시급한 전 세계적 과제이며, 효과적인 개입을 위해서는 시의적절하고 정확한 평가가 매우 중요하다. 최근에는 정신 건강 평가를 위해 대규모 언어 모델(LLM)을 활용하는 연구가 활발히 이루어지고 있다. 그러나 기존의 범용 사후 학습(post-training) 방법은 인간 평가의 인지 과정과 정렬(alignment)되지 않아 신뢰할 수 없는 추론 결과를 초래할 수 있다. 이러한 격차를 해소하기 위해, 본 연구에서는 정신 건강 도메인에 특화된 강화학습(reinforcement learning) 프레임워크인 CRPO(Cognitive Relative Policy Optimization)를 제안한다. CRPO는 정책 최적화(policy optimization) 과정에 단계 의존적 불확실성 모델링을 통합하여 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 확장한다. 구체적으로, 초기 추론 단계에서는 광범위한 탐험(exploration)을 장려하고 후기 단계에서는 점진적으로 확신에 찬 의사결정을 유도하는 단계별 엔트로피 정규화(regularization) 메커니즘을 도입하여 불확실성에서 확실성으로 이어지는 인간의 인지적 전환을 모방한다. 또한 인지 평가 이론(cognitive appraisal theory)에서 영감을 받아 인지 추론 단계를 정형화함으로써 이론적 근거를 갖춘 해석 가능한 추론(inference)을 유도한다. 8개의 정신 건강 데이터셋을 대상으로 한 실험 결과, CRPO는 가장 우수한 강화학습 기준선(baseline) 대비 가중 F1-점수에서 평균 10.4%p 향상을 달성하였다. 나아가 CRPO로 학습(training)된 모델(model) Mental-R1은 추론 집약적인 사례에서 기존 대규모 언어 모델 대비 뚜렷한 우위를 입증하였으며, 이는 CRPO가 정신 건강 평가를 위한 추론 능력을 강화함을 시사한다.
생성형 AI를 위한 사용자 피드백의 미래 설계
Designing the Future of User Feedback for Generative AI
배포 후 사용자 피드백은 생성형 AI 시스템과 기능을 모니터링하고 개선하기 위한 비용 효율적이며 확장 가능하고 대표성 있는 수단이 될 수 있습니다. 효과적으로 구현될 경우, 이러한 피드백 제공은 생성형 AI(GenAI) 시스템에 대한 사용자의 참여도와 신뢰를 높일 수 있습니다. 정부 규제와 업계 가이드라인은 배포 후 사용자 참여를 요구하고 있지만, 소비자가 사용하기 쉽고 제품 팀에는 실행 가능한 인사이트를 제공하는 메커니즘을 설계하는 데 대한 지침은 거의 없습니다. 본 연구는 학계 연구진과 eBay 간의 협업을 통해 다단계 연구를 수행했습니다. 현재 업계 접근법에 대한 벤치마크 평가를 통해 발견 용이성(discoverability) 부족, 불명확한 용어, 사용자 가치에 대한 무관심 등의 공통적인 문제를 확인했습니다. 이러한 발견을 바탕으로 모범 사례 권고안을 개발하고 프로토타입 피드백 수집 도구를 설계 및 테스트했습니다. 이 도구는 사용자에게 효율적이고 유연하며 긍정적인 피드백 제공 경험을 선사하고, 제품 팀에는 성능과 잠재적 문제에 대한 풍부한 데이터를 활용 가능한 형태로 제공하는 것을 목표로 합니다.
PsyEvo: 테스트 시점에 스스로 진화하는 개인화된 상담 에이전트
PsyEvo: A Personalized Counseling Agent That Self-Evolves at Test Time
정신 건강 질환은 전 세계 인구의 상당 부분에 영향을 미치고 있지만, 숙련된 전문가의 지속적인 부족으로 인해 대다수가 적절한 치료를 받지 못하고 있습니다. 대규모 언어 모델(LLM) 기반의 상담사는 확장 가능한 대화형 심리 지원을 제공할 수 있는 유망한 방향을 제시합니다. 그러나 오프라인 모델 학습(training)만으로는 테스트 시점에 개별 내담자에게 적응하거나 진행 중인 치료적 상호작용으로부터 학습할 수 있는 여지가 제한적입니다. 본 연구에서는 세 가지 구성 요소를 통해 테스트 시점에 내담자별 개인화와 응답 정책 개선을 모두 가능하게 하는 LLM 기반 상담 프레임워크인 PsyEvo를 소개합니다. 계층적 베이지안 기술 정책(HBSP)은 세션 피드백을 통해 업데이트되는 내담자별 기술 사후확률을 유지하여 어떤 개입을 적용할지 개인화합니다. 세션 간 리스트형 선호도 최적화(LiPO)는 내담자 간 선호도 증거로부터 공유 응답 어댑터를 업데이트하여 선택된 기술이 어떻게 표현되는지 개선합니다. 상태 조건부 서열형 신용 할당(SOCA)은 일관성이 검증된 비교 및 서열 투영을 통해 두 구성 요소에 후보 선호도와 궤적 신용을 제공합니다. 공유 온라인 집단 적응을 적용한 모의 내담자 평가에서 PsyEvo는 PsychEval에서 종합 점수 7.684를 기록하며, 세 번의 매칭 실험 각각에서 모든 구성 요소 변형을 능가했습니다. 공유 구성에서 개별 구성 요소를 제거하면 평균 종합 점수가 0.138~0.171 감소하여 완전한 스캐폴드 내에서 각 구성 요소의 조건부 기여도를 뒷받침합니다. 코드는 https://github.com/Lingxi-mental-health/PsyEvo 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at CSCW 2026. 52 pages, 12 figures, 17 tables