arXiv:2606.19637v1 cs.CL

라벨 이전: 데이터셋 구축이 임상 텍스트 내 자살성 탐지에 미치는 영향

Before the Labels: How Dataset Construction Shapes Suicidality Detection in Clinical Text

Priyanshi Garg, Ishita Rao, Jieqiong Ding, Amandalynne Paullada

제출 2026-06-17

한국어 초록

임상 자연어 처리(NLP)는 자살 행동을 탐지하기 위해 전자 건강 기록(EHR) 데이터에 점점 더 의존하고 있으며, 소셜 미디어보다 임상 문서를 더 신뢰할 수 있는 정답(ground truth)으로 간주합니다. 우리는 이러한 관점이 EHR 기반 자살성 데이터셋이 자살성의 특정한 조작화(operationalization)를 어떻게 반영하는지 가리고 있다고 주장합니다. 이는 데이터를 누가 작성하는지, 에피소드가 어떻게 경계 지어지는지, 그리고 모호성이 어떻게 해결되는지에 따라 형성됩니다. 우리는 MIMIC-III 임상 노트를 기반으로 구축된 ScAN 데이터셋에 대한 사례 연구를 통해 이 주장을 뒷받침합니다. 우리는 거버넌스 제약, ICD 기반 코호트 선정, 단일 주석자 라벨링, 그리고 입원 기간 수준의 집계가 어떻게 임상의가 기록한 판단을 반영하고, 자살성을 명확히 경계 지어진 에피소드로 취급하며, 의도가 문서에서 신뢰할 수 있게 유추될 수 있다고 가정하는 라벨을 생성하는지 보여줍니다. 언어학적 분석을 통해 동일한 라벨이 시간성, 부정, 불확실성 측면에서 차이가 나는 이질적인 임상적 프레이밍을 포괄하고 있음을 입증합니다. 우리는 임상 자연어 처리(NLP)가 자살성 데이터셋의 라벨을 정답으로 해석하기 전에, 해당 데이터셋에 내재된 가정을 면밀히 검토해야 한다고 주장합니다.

원문 초록

Clinical NLP increasingly relies on electronic health record (EHR) data to detect suicidal behaviors, treating clinical documentation as more reliable ground truth than social media. We argue that this framing obscures how EHR-based suicidality datasets encode a particular operationalization of suicidality, shaped by who authors the data, how episodes are bounded, and how ambiguity is resolved. We ground this argument in a case study of the ScAN dataset, built over MIMIC-III clinical notes. We show how governance constraints, ICD-based cohort selection, single-annotator labeling, and hospital-stay-level aggregation produce labels that reflect clinician-documented judgments, treat suicidality as a bounded episode, and assume that intent can be reliably inferred from documentation. A linguistic analysis demonstrates that identical labels subsume heterogeneous clinical framings differing in temporality, negation, and uncertainty. We argue that clinical NLP should examine the assumptions embedded in suicidality datasets before interpreting their labels as ground truth.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19637v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.06435v1cs.AI공통 태그 Text Classification, clinical nlp

세부 기록에서 H. pylori 발견: 위 생검 보고서의 근거 연결 다중 에이전트 케이스 파인딩

Finding H. pylori in the Fine Print: Evidence-Linked Multi-Agent Case Finding from Gastric Biopsy Reports

싱가포르 데이터에 따르면 인구의 약 31%가 Helicobacter pylori 감염의 증거를 보인 것으로 나타났다. 지속적인 H. pylori 감염은 만성 활성 위염 및 소화성 궤양 질환과 관련이 있으며, 이의 박멸은 위암 예방의 핵심이다. 그러나 H. pylori 양성 및 H. pylori 관련 위염을 지지하는 근거는 이질적인 코드화 필드와 자유 텍스트 보고서 필드에 분산되어 있을 수 있으며, 긍정 및 부정 표현에 대한 맥락적 해석이 필요할 수 있어 키워드 검색이 제한적이고 수작업 검토를 확장하기 어렵다. 우리는 싱가포르의 대형 의료 시스템으로부터 익명화된 위 생검 병리 보고서 54건을 사용하여, 필드명 기반의 근거 연결 추출 워크플로우인 Nimblemind 다중 에이전트 시스템(nMAS)에 대한 후향적 파일럿 평가를 실시하였다. 네 가지 임상의 범위의 이진 필드가 평가되었다: 위/복부 생검, 생검 상태, H. pylori 양성 여부, H. pylori 관련 위염. 216개의 특징-케이스 결정에서 nMAS는 213개를 올바르게 분류하여 전체 정확도 98.61%를 달성하였다. 별도로 구현된 UMA 방식의 MiniMax M2.5 비교기는 유사한 집계 및 필드별 분류 지표를 산출하였다. 예측 성능은 유사하였으나, nMAS는 근거 원문 문장을 포함한 통합 보고서 수준의 출력물을 유지하였으며, 따라서 입증된 기여점은 예측 우월성보다 워크플로우 통합 및 추적 가능성에 있다. 예시적이고 실측되지 않은 시나리오에서, 1,000건의 보고서를 검토할 때 수작업 검토 건당 5분 대 근거 연결 검증의 5초를 비교하면 검토 시간이 83.3 직원-시간에서 1.4 직원-시간으로 감소하며, 이는 81.9 직원-시간 및 약 6,100 USD의 잠재적 직원 시간 가치에 해당한다. 향후 더 큰 규모의 다기관 연구에서는 근거 범위의 정확성, 임상의 검증 시간, 그리고 일반화 가능성을 평가해야 한다.

arXiv:2607.03466v1cs.CL공통 태그 Text Classification, clinical nlp

SMM4H-HeaRD 2026에서의 CaresAI: TNM 병기 예측

CaresAI at SMM4H-HeaRD 2026: Predicting TNM Staging

본 연구는 SMM4H-HeaRD 2026의 여섯 번째 공유 과제로서, Cancer Genome Atlas(TCGA) 병리 보고서를 활용하여 종양(Tumor), 림프절(Node), 전이(Metastasis)에 해당하는 TNM 병기 레이블을 독립적으로 예측하는 것을 목표로 한다. 이 문제는 세 가지 다중 레이블 분류(multi-label classification) 과제로 구성된다. 우리는 TF-IDF(Term Frequency-Inverse Document Frequency) 특징과 ClinicalBERT, BioBERT, PubMedBERT의 임베딩을 활용하여 고전적 방법과 심층 학습 방법을 모두 탐색한다. 이러한 표현은 로지스틱 회귀(Logistic Regression, LR), LightGBM(Light Gradient Boosting Machine), 피드포워드 신경망(Feed-Forward Neural Networks, FFNN), 와이드 잔차 네트워크(Wide Residual Networks, WRN)와 함께 사용된다. 실험 결과, 개별 임베딩은 TNM 레이블 분류에서 유사한 성능을 보이는 반면, 이들의 조합은 예측 능력을 향상시킨다. WRN은 학습 단계에서 AUROC 점수 0.839(T), 0.8502(N), 0.803(M)과 F1 점수 0.622, 0.702, 0.9337을 각각 달성한다. TF-IDF를 결합한 LightGBM은 학습 단계에서 AUROC 점수 0.9368(T), 0.9524(N), 0.8311(M)과 F1 점수 0.7559(T), 0.7384(N), 0.7017(M)로 가장 우수한 성능을 보인다. 또한 테스트 세트에 대한 Codabench 결과에서 테스트 세트 1의 T, N, M 범주에 대한 Macro-F1 점수는 각각 0.978, 0.957, 0.879이며, 테스트 세트 2의 T, N, M에 대한 Macro-F1 점수는 각각 0.807, 0.767, 1.0을 기록한다. 그러나 테스트 세트의 평가 단계에서는 성능이 저하되어, 전체 병기에 걸친 Macro-F1 점수가 테스트 세트 1에서 2로 0.938에서 0.858로 하락하였으며, 이는 모델 일반화 능력의 한계, 클래스 불균형에 대한 민감성, 그리고 긴 임상 문서 처리의 어려움을 시사한다. 본 연구는 효율적인 기준선(baseline) 모델과 재현 가능한 파이프라인을 제공하지만, 실제 임상 환경에서의 활용에 적합한 것으로 간주되기 전에 추가적인 최적화와 검증이 필요하다.

arXiv:2606.28725v2cs.CL공통 태그 Text Classification

DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응

DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation

자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.

arXiv:2607.05626v2cs.CL공통 태그 Text Classification

ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구

Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis

우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.

arXiv:2606.17973v2cs.CL공통 태그 Text Classification

AI 정신건강 대화를 통한 수동적 우울증 심각도 추정을 위한 대규모 언어 모델(LLM) 파인튜닝

Fine-tuning LLMs for Passive Depression Severity Estimation from AI Mental Health Dialogue

우울증은 전 세계적으로 장애의 주요 원인이지만, Patient Health Questionnaire-9(PHQ-9)와 같이 검증된 설문지는 종종 작성되지 않아 희소하고 편향된 데이터를 낳는다. AI 정신건강 애플리케이션 사용자는 기분, 수면, 기능 상태를 요청 없이도 자주 서술하며, 이는 증상에 대한 연속적인 기록을 만들어 낸다. 본 연구에서는 이러한 대화만으로 PHQ-9 점수를 예측한다. 많은 임상 언어 과제와 마찬가지로 레이블은 부족하고 불균형하다. 이를 해결하기 위해 Qwen 3.5 27B를 회귀 헤드와 함께 미세 조정하고, 3,111개의 정답 레이블을 최첨단 추론 모델과 반복적으로 학습된 중간 모델들이 생성한 의사 레이블로 증강하여, 점수가 더 균형 잡힌 5,524명의 사용자로 확장하였다. 보류된 422명의 사용자에서 모델은 MAE $= 3.98$, Pearson $r = 0.67$, 임상 기준(PHQ-9 $\geq 10$)에서 AUC $= 0.88$을 달성하였으며, PHQ-9 $\geq 3$부터 PHQ-9 $\geq 24$에 이르는 심각도 기준 전반에서 AUC가 $> 0.80$으로, 모델이 전체 임상 스펙트럼에 걸쳐 우울증 심각도를 포착함을 보여 준다. 이러한 결과는 자기 보고 없이도 수동적인 우울증 모니터링이 가능함을 뒷받침한다.

arXiv:2609.27262v2cs.CL공통 태그 Text Classification

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.