arXiv:2606.12649v1 cs.CL

MentalMARBERT: 아랍어 정신 건강 장애 탐지를 위한 도메인 적응 사전학습 및 2단계 파인튜닝

MentalMARBERT: Domain-Adaptive Pre-training and Two-Stage Fine-Tuning for Arabic Mental Health Disorders Detection

Fatimah Almalki, Areej Alhothali, Lulwah Alharigy, Abdulrahman Aladeem

제출 2026-06-10

한국어 초록

아랍어 소셜 미디어 텍스트에서 정신 건강 장애를 탐지하는 것은 방언 차이, 비격식 언어, 고품질 주석 리소스의 부족, 그리고 심각한 클래스 불균형으로 인해 여전히 어려운 과제입니다. 영어 기반 정신 건강 자연어 처리(NLP)는 상당한 진전을 이룬 반면, 아랍어 다중 클래스 장애 분류는 아직 충분히 연구되지 않았습니다. 본 연구는 아랍어 정신 건강 텍스트 분류를 위한 2단계 프레임워크를 제안합니다. 1단계에서는 AraBERT, CAMeLBERT, MARBERT라는 세 가지 아랍어 사전학습 언어 모델이 대규모 라벨이 없는 아랍어 정신 건강 트윗 말뭉치를 사용하여 도메인 적응 및 작업 적응 사전학습(DAPT 및 TAPT)을 수행합니다. 이어지는 평가 과정에서는 통합된 프로토콜 하에 적응된 모델들을 평가하여 가장 효과적인 백본 모델을 선정합니다. 2단계에서는 선정된 모델을 단일 단계 및 계층적 2단계 분류 아키텍처를 완전 파인튜닝(full fine-tuning) 및 Low-Rank Adaptation(LoRA)과 결합한 4가지 구성으로 평가합니다. 본 연구를 지원하기 위해 6개 범주에 걸쳐 50,670개의 트윗을 포함하는 새로운 주석이 달린 아랍어 정신 건강 데이터셋을 구축하였으며, 높은 주석자 간 일치도(Krippendorff's Alpha = 0.733, 평균 쌍별 일치도 = 0.797)를 확보하였습니다. 실험 결과, 도메인 적응된 MARBERT(MentalMARBERT)는 정확도와 macro-F1 모두에서 기준 모델 대비 통계적으로 유의미한 향상을 달성하는 것으로 나타났습니다. 완전 파인튜닝과 결합된 계층적 2단계 아키텍처가 전반적으로 가장 우수한 성능을 보여 macro-F1 0.861, 정확도 0.877을 기록했습니다. 이러한 결과는 아랍어 정신 건강 장애 탐지에 있어 도메인 특화 적응 사전학습과 계층적 분류의 효과를 입증합니다.

원문 초록

Detecting mental health disorders from Arabic social media text remains challenging due to dialectal variation, informal language, limited high-quality annotated resources, and severe class imbalance. While English mental health natural language processing (NLP) has progressed substantially, Arabic multi-class disorder classification remains insufficiently studied. This study proposes a two-phase framework for Arabic mental health text classification. In phase 1, three Arabic pre-trained language models, AraBERT, CAMeLBERT, and MARBERT, undergo Domain-Adaptive and Task-Adaptive Pretraining (DAPT and TAPT) using a large-scale corpus of unlabeled Arabic mental health tweets. The adapted models are evaluated under a unified protocol to identify the most effective backbone model. In phase 2, the selected model is assessed across four configurations combining single-stage and hierarchical two-stage classification architectures with full fine-tuning and Low-Rank Adaptation (LoRA). To support this study, we constructed a novel annotated Arabic mental health dataset comprising 50,670 tweets across six categories, with strong inter annotator agreement (Krippendorff's Alpha = 0.733, average pairwise agreement = 0.797). Experimental results show that the domain-adapted MARBERT (MentalMARBERT) achieves statistically significant improvements over baseline models in both accuracy and macro-F1. The hierarchical two-stage architecture combined with full fine-tuning achieves the best overall performance, reaching a macro-F1 of 0.861 and an accuracy of 0.877. These findings demonstrate the effectiveness of domain-specific adaptive pretraining and hierarchical classification for Arabic mental health disorder detection.

요약

아랍어 소셜 미디어 텍스트에서 정신 건강 장애를 탐지하기 위해 도메인 적응 사전학습과 계층적 2단계 파인튜닝을 결합한 MentalMARBERT를 제안하고 새로운 데이터셋을 구축하여 성능을 평가했다. 실험 결과, 제안된 방법은 기준 모델보다 높은 정확도와 macro-F1 점수를 기록하며 효과를 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12649v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27387v1cs.CL공통 태그 Text Classification, arabic

AraGenre 2026: 계층적 정의 기반 아랍어 장르 분류 공유 과제

AraGenre 2026: A Hierarchical Definition-Guided Arabic Genre Classification Shared Task

AraGenre는 아랍어 및 기타 저자원 언어에서의 주석 데이터 부족 문제를 해결하기 위해 고안된 계층적 정의 기반(definition-guided) 아랍어 장르 분류(classification) 공유 과제이다. 시스템은 각 아랍어 텍스트 세그먼트에 광범위한 의사소통 장르와 세부 장르를 모두 부여한다. 공개된 학습(training) 및 개발 데이터셋(dataset)은 주로 합성 및 통제된 제한된 예시를 포함하는 반면, 블라인드 평가용 최종 벤치마크(benchmark)는 현대 표준 아랍어(Modern Standard Arabic), 고전 아랍어(Classical Arabic), 그리고 다양한 방언에 걸친 잡음이 많은 자연 발생 텍스트를 포함한다. 참가자들에게는 이전에 본 적 없는 74개 세부 장르에 대한 자연어 정의가 제공되어, 시스템이 고정된 레이블-특징(feature) 연관성을 암기하기보다 클래스 의미론을 추론해야 하는 제로샷(zero-shot) 레이블 일반화 환경이 조성되었다. 이 과제에는 46개 팀이 등록하고 373건이 제출되었으며, 17개 팀이 최종 평가(evaluation)를 완료했다. Thakaa 팀이 계층적 매크로 F1(Hierarchical Macro F1) 0.7352로 1위를 차지했고, HoangPhong (HP) 팀이 0.7169로 그 뒤를 이었으며, NAMAA 팀이 0.7013을 기록했다. 결과는 광범위한 장르 인식에서는 강력한 성능을 보였으나, 언어적 및 도메인 변이가 존재하는 환경에서의 세부 장르 분류에서는 상당한 성능 격차가 존재함을 보여준다.

arXiv:2609.28352v1cs.CL공통 태그 Text Classification, arabic

디지털 양층언어현상: X와 Facebook 사이의 아랍어

Digital diglossia: Arabic between X and Facebook

본 연구는 X와 Facebook 전반에 걸친 표준 아랍어(SA; H(상위) 변종) 및 구어체 아랍어(CA; L(하위) 변종)의 분포를 조명한다. Python을 통해 16,754개의 공개 게시물을 수집하였으며, 이 중 10,000개를 최종 데이터셋(dataset)으로 유지하였다. 게시물은 *정치, 기술, 과학, 비즈니스, 문화, 유머, 스포츠*의 7가지 담화 범주로 분류되었다. 카이제곱 검정과 크래머의 V(CV)를 포함한 이변량 분석을 통해 플랫폼, 담화 범주, 양층언어적 선택 간의 연관성을 조사하였으며, 플랫폼과 담화 범주 간 상호작용을 포함한 이항 로지스틱 회귀를 통해 이러한 연관성이 플랫폼 간에 차이를 보이는지 검정하였다. 연구 결과에 따르면, 담화 범주와 양층언어적 선택 사이에는 X(카이제곱(6, *N* = 5000) = 600.35, p < .001, CV = .347)와 Facebook(카이제곱(6, N = 5000) = 1249.52, p < .001, CV = .500) 모두에서 유의미한 연관성이 있는 것으로 나타났다. 전체 플랫폼에 걸쳐 플랫폼 자체도 양층언어적 선택과 연관되어 있었다(카이제곱(1, N = 10000) = 262.16, p < .001, CV = .162). 또한 이항 로지스틱 회귀 분석에 따르면, 정치 기준 범주에서 Facebook보다 X에서 SA를 사용할 승산이 더 높았으며(*OR* = 1.31, p = .0028), 문화(OR = 2.65), 유머(*OR* = 6.34), 스포츠(*OR* = 26.71), 과학(OR = 0.41), 기술(OR = 0.71) 분야에서 유의미한 플랫폼-도메인 상호작용이 나타났다. 본 연구는 SA와 CA의 양층언어적 사용이 디지털 담화에 대한 늘어나는 연구에 기여한다고 결론짓고, 디지털 시대가 양층언어의 경계를 침식하는 것이 아니라 재형성하여 새로운 형태의 재구성된 디지털 양층언어현상을 낳는다는 점을 밝힌다.

arXiv:2609.28430v1cs.CL공통 태그 Domain Adaptation, mental health

우울증 중증도 예측을 위한 교차 척도 전이학습: 언어 및 임상 패러다임을 넘나드는 PHQ-8에서 HAMD-17로의 전이

Cross-Scale Transfer Learning for Depression Severity Prediction: From PHQ-8 to HAMD-17 Across Languages and Clinical Paradigms

본 연구는 데이터가 부족한 환경에서 임상 인터뷰 녹취록으로부터 연속적인 우울증 중증도 점수를 예측하는 문제를 다룹니다. 우리는 교차 척도 전이(cross-scale transfer)를 위한 순차적 저순위 적응(LoRA) 프로토콜을 제안합니다. 경계 회귀 헤드(bounded regression head)가 결합된 Qwen3 백본을 먼저 영어 DAIC-WOZ 데이터셋(아바타 중개 세션 189건, PHQ-8)에서 미세조정(fine-tuning)한 후, 해당 어댑터로 초기화하여 중국어 PDCH 데이터셋(실제 임상 상담 100건, HAMD-17)에서 미세조정을 진행하며, 이때 재초기화된 척도 전용 헤드가 임상의가 부여한 점수를 예측합니다. 모든 구성에는 환자 수준의 계층화된 5-겹 2-반복 교차 검증(5-fold, 2-repeat cross-validation)을 적용했습니다. 데이터가 희소한 HAMD-17 타깃에서 순차적 프로토콜은 0.6B 및 1.7B 백본 모두에서 가장 우수한 점추정치 MAE, RMSE 및 매크로-$F_1$을 달성하여 타깃 전용 학습(training) 및 비 LLM 베이스라인을 능가했습니다(Qwen3-0.6B에서 4.96/6.59/0.36, Qwen3-1.7B에서 4.38/5.62/0.46). 소거 연구(ablation) 결과, 올바르게 정렬된 소스 감독이 최상의 점추정치를 산출하고(비지도 노출 및 셔플된 레이블 대조군 또한 부분적인 이득을 보임), 원어 중국어 타깃 입력이 기계 번역된 영어 입력보다 우수한 성능을 보이며, 역순 전이는 실행 간 분산 범위 내에서 뚜렷한 이득을 보이지 않음을 시사합니다. 본 연구는 탐색적인 단일 기관 내부 평가로, 선별 또는 진단 유용성을 입증하지 않으며 척도, 언어 또는 패러다임 변화 각각의 기여도를 분리하여 규명하지는 않습니다. 우리가 아는 한, 이 특정한 DAIC-WOZ에서 PDCH로의 순차적 전이 설정을 평가한 선행 연구는 없습니다.

arXiv:2609.26034v1cs.CL공통 태그 Text Classification, Domain Adaptation

대규모 구조화 문헌 마이닝을 위한 도메인 적응 사전학습 기반 수처리 의미 표상 향상

Domain-Adaptive Pretraining Enhances Water Treatment Semantic Representation for Large-Scale Structured Literature Mining

수처리 연구가 급격히 확장되고 있으나, 이러한 연구로부터 도출된 많은 지식은 비정형 문헌 전반에 흩어져 있는 상태로 남아 있다. 이 분야는 대규모 문헌 마이닝을 위해 수처리 특화 도메인 의미를 효율적으로 포착할 수 있는 전용 언어 모델이 여전히 부족하다. 본 연구에서는 수처리 텍스트로부터 의미 표상(semantic representation) 및 구조화된 정보 추출을 수행하도록 설계된 도메인 적응 인코더 모델인 WaterBERT를 개발하여 이를 해결한다. WaterBERT는 약 29억 7천만 개의 토큰으로 구성된 대규모 수처리 말뭉치에 대한 지속 사전학습(continual pretraining)을 통해 개발되었다. WaterBERT를 기반으로 파인튜닝된 세 가지 모델을 다운스트림 태스크에서 체계적으로 평가한 결과, 다중 클래스 처리 공정 분류에서 F1 점수 90.12%, 개체명 인식에서 79.50%, 관계 추출에서 74.04%를 기록하며 범용 및 도메인 특화 BERT 모델 중 전반적으로 가장 우수한 성능을 달성했다. 이러한 벤치마크 태스크를 넘어, 대규모 문헌 처리에 대한 WaterBERT의 이점을 추가로 입증했다. 5,144편의 Environmental Science & Technology 논문에 적용된 WaterBERT-BERTopic은 사전에 정의된 범주 없이도 일관되고 다양하며 도메인에 특화된 연구 주제를 식별했다. WaterBERT를 기반으로 693,211개의 초록을 처리하여 상용 대규모 언어 모델(LLM)보다 현저히 낮은 비용으로 경쟁력 있는 추출 성능을 유지하면서 구조화된 수처리 지식 그래프를 구축했다. 이후 이 지식 그래프를 어휘 및 조밀 검색(dense retrieval)과 통합하여 수처리 지식 증강 검색 시스템(WaterKERS)을 개발했으며, 이는 관련성 점수 77.7을 달성하여 텍스트 기반 검색 베이스라인(54.7-64.5)을 크게 능가했다. 본 연구는 WaterBERT를 통해 수처리 연구에서의 대규모 정보 처리 및 근거 매핑을 위한 컴팩트하고 확장 가능한 의미론적 기반을 제공한다.

arXiv:2609.22696v1cs.AI공통 태그 Text Classification, mental health

Bluesky에서 신뢰할 수 있는 정신 건강 벤치마크 구축: 검증 인식 약한 감독(weak-supervision) 프레임워크

Building Trustworthy Mental Health Benchmarks on Bluesky: A Validation-Aware Weak-Supervision Framework

분산형 소셜 미디어 플랫폼에서는 데이터 접근, 중재, 라벨링, 배포 책임이 여러 기술 및 거버넌스 계층에 분산되므로, 계산 정신 건강(computational mental health) 연구에 새로운 기회와 과제가 생긴다. 본 논문은 AT Protocol 기반 분산형 소셜 미디어 플랫폼인 Bluesky에서 자살 사고(suicidal ideation, SI) 및 더 넓은 범위의 정신 건강(mental health, MH) 공개(disclosure) 벤치마크를 구성·평가하기 위한 검증 인식 약한 감독(weak-supervision) 시스템을 제시한다. 이 시스템은 공개 firehose 수집, 과제별 어휘집(lexicon) 필터링, Llama-3-8B 보조 이진 주석(annotation), 인간 판정(human-adjudicated) 검증 서브셋, 트랜스포머 기반 모델 벤치마킹을 통합한다. 이 파이프라인으로 SI 라벨 게시물 8,346개와 MH 라벨 게시물 9,988개를 담은 과제별 코퍼스 두 개를 구성한다. 평가 결과, 모델 성능은 과제 정의와 검증 프로토콜 모두에 크게 좌우된다. BERT+LSTM은 SI 계층화 교차검증(stratified cross-validation) F1-score에서 최고이며, RoBERTa는 SI 홀드아웃(holdout) F1-score에서 가장 높고, DistilRoBERTa는 MH 교차검증 F1-score에서 최고이다. 인간 검증은 과제별로 약한 라벨(weak-label) 실패 양상이 다름을 보여 주며, SI 라벨은 거짓 음성(false negative)이, MH 라벨은 거짓 양성(false positive)이 우세하다. 이는 분산형 소셜 미디어가 재현 가능한 정신 건강 벤치마킹을 뒷받침할 수 있으나, 시스템 설계·라벨 출처(provenance)·검증 전략·배포 제약을 함께 평가할 때에만 가능함을 시사한다.

arXiv:2607.15202v1cs.AI공통 태그 Text Classification, mental health

설명 가능한 우울 증상 어노테이션을 위한 자기 진화형 인간 중심 프레임워크

Self-Evolving Human-Centered Framework for Explainable Depression Symptom Annotation

어노테이션 품질은 정신 건강 연구를 위한 신뢰할 수 있고 설명 가능한 인공지능(XAI) 시스템 구축의 주요 병목이다. 우울 관련 데이터셋에서는 라벨이 종종 구조화된 근거, 증상 수준 정당화, 또는 «정신장애의 진단 및 통계 편람» 5판 텍스트 개정판(DSM-5-TR) 기준과의 추적 가능한 정렬 없이 부여되어, 투명성과 하류 모델의 해석가능성을 모두 제한한다. 우리는 대규모 언어 모델(LLM) 보조 라벨링과 전문가 검증을 결합한 주요 우울 장애(Major Depressive Disorder, MDD)용 자기 진화형 전문가-참여(expert-in-the-loop) 어노테이션 프레임워크를 제안한다. 이 프레임워크는 임상 진단을 수행하기보다는 설명 가능하고 DSM-5-TR에 정렬된 데이터셋 구축을 지원하기 위한 것이다. 3단계로 작동한다: 텍스트 기록으로부터 후보 근거 선택, 기준 수준의 DSM-5-TR 분석, 라벨 수준의 진단 및 중증도 어노테이션을 생성하는 사례 수준 종합. 예시 메모리(Example Memory)와 성찰 메모리(Reflection Memory)로 구성된 이중 메모리 아키텍처는 재학습 없이 전문가 피드백을 내재화하고 향후 어노테이션을 반복적으로 개선하도록 설계되었다. 우리는 이 메커니즘을 설명하고, 다중 피드백 주기에 걸친 평가는 향후 연구에 맡긴다. 최종 라벨 외에도 이 프레임워크는 임상적 근거, 추론 추적, 편집 이력을 내보내 포괄적인 감사 가능성을 가능하게 한다. 전문가 검토 표본을 사용한 파일럿 연구에서, 제안된 접근법은 수동 수정 노력을 줄이면서 어노테이션 일관성과 설명 가능성을 향상시켰다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.