Ground Truths in Suicide Research: The Current State of AI-Based Suicide Detection in Social Media
원문 초록
Recent advances in artificial intelligence (AI) and social media data have led to growing optimism about the ability to detect suicide risk at scale. However, the empirical foundations of this work remain unclear. This article provides a synthesis of current research on AI-based suicide detection in social media, drawing on a recent umbrella review of 22 systematic reviews covering studies up to 2022, alongside an ongoing literature review extending the analysis to more recent work. Across these sources, we identified 195 relevant studies, which are documented in a detailed supplementary dataset outlining their key characteristics and findings (see Supplementary Information). Analysis of these studies reveals consistent patterns, including rapid growth, concentration on a small number of platforms, reliance on textual and English-language data, and repeated use of similar datasets. Most importantly, the majority of studies rely on indirect labeling strategies that do not involve direct, individual-level validation of suicide risk. Instead, ground truth is typically inferred from observable features of online content, such as linguistic markers or community membership. As a result, the predictive task often shifts from identifying individuals at risk to classifying posts that contain suicidal or distress-related language, limiting the ability of current approaches to detect individuals who do not express such content explicitly online. These findings suggest that current advances in model performance should be interpreted with caution. Progress in this field is likely to depend less on improving model performance and more on ensuring that model predictions meaningfully correspond to suicide risk as it is experienced in real life.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28334v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Bluesky에서 신뢰할 수 있는 정신 건강 벤치마크 구축: 검증 인식 약한 감독(weak-supervision) 프레임워크
Building Trustworthy Mental Health Benchmarks on Bluesky: A Validation-Aware Weak-Supervision Framework
분산형 소셜 미디어 플랫폼에서는 데이터 접근, 중재, 라벨링, 배포 책임이 여러 기술 및 거버넌스 계층에 분산되므로, 계산 정신 건강(computational mental health) 연구에 새로운 기회와 과제가 생긴다. 본 논문은 AT Protocol 기반 분산형 소셜 미디어 플랫폼인 Bluesky에서 자살 사고(suicidal ideation, SI) 및 더 넓은 범위의 정신 건강(mental health, MH) 공개(disclosure) 벤치마크를 구성·평가하기 위한 검증 인식 약한 감독(weak-supervision) 시스템을 제시한다. 이 시스템은 공개 firehose 수집, 과제별 어휘집(lexicon) 필터링, Llama-3-8B 보조 이진 주석(annotation), 인간 판정(human-adjudicated) 검증 서브셋, 트랜스포머 기반 모델 벤치마킹을 통합한다. 이 파이프라인으로 SI 라벨 게시물 8,346개와 MH 라벨 게시물 9,988개를 담은 과제별 코퍼스 두 개를 구성한다. 평가 결과, 모델 성능은 과제 정의와 검증 프로토콜 모두에 크게 좌우된다. BERT+LSTM은 SI 계층화 교차검증(stratified cross-validation) F1-score에서 최고이며, RoBERTa는 SI 홀드아웃(holdout) F1-score에서 가장 높고, DistilRoBERTa는 MH 교차검증 F1-score에서 최고이다. 인간 검증은 과제별로 약한 라벨(weak-label) 실패 양상이 다름을 보여 주며, SI 라벨은 거짓 음성(false negative)이, MH 라벨은 거짓 양성(false positive)이 우세하다. 이는 분산형 소셜 미디어가 재현 가능한 정신 건강 벤치마킹을 뒷받침할 수 있으나, 시스템 설계·라벨 출처(provenance)·검증 전략·배포 제약을 함께 평가할 때에만 가능함을 시사한다.
감성 분류에서 실행 가능하고 책임 있는 피드백으로: 학생 강의 평가(SET)에서 NLP의 범위 검토 및 증거 지도, 2015–2026
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
의견도 많고 LLM도 많다: 개방형 설문 분석에서 대규모 언어 모델과 전통적 머신러닝 비교
So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis
개방형 설문은 귀중한 통찰을 제공하지만, 대규모로 분석하기는 악명 높을 정도로 어렵다. 텍스트 분류에 전통적 머신러닝을 적용한 선행 연구("So Many Responses, So Little Time: A Machine-Learning Approach to Analyzing Open-Ended Survey Data") [1]를 바탕으로, 본 연구는 서로 다른 대규모 언어 모델(LLM)이 NSSE 개방형 설문 응답을 어떻게 이해하고 분석하는지 조사한다. 여러 최신 LLM—OpenAI의 GPT 시리즈, Twitter-roBERTa-base 모델, Meta의 LLaMA—에 초점을 맞추고, 감성 분석 및 주제 분류와 같은 과제에서 이들의 성능을 이전 머신러닝 모델과 비교한다. 본 연구 분석은 모델 간 일치도, 분류 정확도, 그리고 추론의 해석 가능성을 평가한다. 결과는 현재 LLM이 분류 정확도에서 전통적 머신러닝 모델을 일관되게 능가한다는 것을 보여 주며, 특히 학생 응답의 복잡한 정서 및 주제 패턴 이해에서 두드러진다. LLM이 정확도는 우수하지만, 예측을 얼마나 명시적이고 일관되게 정당화하는지, 그리고 범주 경계를 적용하는 방식에서는 크게 다르다. 이러한 차이는 정성 분석에 LLM을 사용할 때 중요한 트레이드오프를 부각한다: 예측력의 증가는 일관성과 설명 가능성의 문제를 수반한다. 본 연구 결과는 대규모 정성 연구에 다양한 LLM을 활용할 때의 이점과 단점을 보여 주며, 자동화와 해석적 엄밀성의 균형을 맞추려는 연구자들을 위한 실용적 조언을 제공한다.
너무 많은 토큰에 비용을 지불하고 있는가? 간단한 휴리스틱을 활용한 유효하고 비용 효율적인 멀티모달 LLM 주석
Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.