트랜스포머는 매우 성공적인 기계학습 모델이지만 그 수학적 성질은 여전히 잘 이해되지 않고 있다. 본 연구에서는 하드맥스 셀프 어텐션과 정규화 서브레이어를 갖는 트랜스포머의 층 수가 무한대로 갈 때의 거동을 엄밀하게 규명한다. 이러한 트랜스포머를 유클리드 공간에서 점들의 진화를 기술하는 이산 시간 동역학계로 보고, 초평면 분리에 기반한 셀프 어텐션 메커니즘의 기하학적 해석을 활용하여, 트랜스포머 입력이 \textit{리더}라 불리는 특별한 점들에 의해 결정되는 군집 평형으로 점근적으로 수렴함을 보인다. 이어서 이러한 이론적 이해를 활용하여 완전히 해석 가능한 트랜스포머 모델로 언어 처리의 감성 분석 문제를 해결하는데, 이 모델은 의미 없는 단어들을 가장 많은 의미를 지닌 리더 단어 주위로 군집화함으로써 '문맥'을 효과적으로 포착한다. 마지막으로, 트랜스포머의 수학적 분석과 실제 구현 사이의 간극을 메우기 위해 남은 과제들을 개괄한다.
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.
추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.
대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.
자연어 이해(NLU)는 기계가 인간의 언어를 이해하도록 하는 과제이다. 입장 탐지와 감성 분석 같은 일부 과제는 개인의 주관적 관점과 밀접하게 관련되어 있어 개인 수준 NLU라고 불린다. 기존에는 이러한 과제가 개인적 요인을 무시한 채 텍스트 수준 NLU 과제로 단순화되는 경우가 많았다. 이는 추론을 어렵고 설명 불가능하게 만들 뿐 아니라, 데이터셋을 구축할 때 다수의 레이블 오류를 초래하는 경우가 많다. 위의 한계를 해결하기 위해 본 논문은 개인 수준 요인에 기반한 새로운 NLU 주석 지침을 제안한다. 구체적으로, 동일한 개인의 다른 게시물을 함께 반영하고, 해당 개인의 모든 게시물을 고려한 후 개인의 주관적 관점을 주석한다. 이 지침을 사용하여 입장 탐지 및 주제 기반 감성 분석 데이터셋을 확장하고 재주석하였다. 그 결과 표본의 오류율이 각각 $31.7\%$와 $23.3\%$에 달하는 것을 확인하였다. 나아가 재주석된 데이터셋에서 대규모 언어 모델로 실험을 수행한 결과, 개인적 요인을 추가한 후 두 데이터셋 모두에서 대규모 언어 모델이 우수한 성능을 보였다. GPT-4o와 Llama3-70B는 재주석 데이터셋에서 모두 87\%를 넘는 정확도를 달성할 수 있다. 또한 절제 연구를 통해 개인적 요인의 효과를 검증하였다. 향후 연구자들이 이러한 데이터셋을 구축할 때 개인적 요인을 추가할 것을 촉구한다. 재주석 데이터셋은 https://github.com/24yearsoldstudent/Individual-NLU 에서 확인할 수 있다.
멀티모달 대규모 언어 모델(MLLM)은 시각, 음향, 언어적 증거에 대한 섬세한 추론을 가능하게 하여 정서 컴퓨팅을 발전시켰다. 이들의 일반화를 향상시키는 핵심 접근법은 결과 기반 강화학습으로, 기존의 레이블 수준 주석을 최종 답의 정확성에 대한 보상으로 변환한다. 그러나 이 방식의 희소한 시퀀스 수준 지도는 멀티모달 정서 단서를 해석하는 데 필요한 세밀한 안내를 제한적으로만 제공하며, 단서를 잘못 해석한 경우에도 올바른 레이블에 보상을 줄 수 있다. 이 문제를 해결하기 위해 본 논문은 옴니모달 정서 추론을 위한 최초의 온폴리시 자기 증류 프레임워크인 OmniOPSD를 제안한다. OmniOPSD의 핵심은 참조 정서 판단을 의미적 사전 정보로 활용하여 최첨단 MLLM으로부터 오프라인으로 멀티모달 증거를 이끌어 냄으로써, 레이블 수준 지도를 증거가 풍부한 교사 전용 근거(rationale)로 변환하는 것이다. 근거 특권(rationale-privileged) 자기 증류를 통해 학생의 온폴리시 롤아웃과 로컬 자기 교사로부터 얻은 조밀한 증거 기반 토큰 수준 지도를 결합하며, 이에 따라 학생은 고정된 추론 흔적을 모방하는 대신 자신의 궤적을 따라 학습할 수 있다. 오프라인 증거 획득과 로컬 정책 학습의 이러한 분리는 추가적인 사람 주석, 최첨단 모델의 로짓, 또는 온라인 최첨단 모델 호출 없이도 학습을 가능하게 하며, 원래의 과제 입력만으로 학생 단독 추론을 수행하도록 유지한다. 3B와 7B 규모 모두에서 OmniOPSD는 도메인 내 및 도메인 외 평가 모두의 평균 macro-F1에서 지도 미세조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 능가한다. 비교 모델 중에서 세 가지 입력 모달리티 설정 전반의 MER-UniBench 평균 기준 1위를 차지하며, 오디오–비디오–텍스트 입력에서 84.13에 도달하고, MME-Emotion 인식 점수(Rec-S)에서 최고점인 42.4를 달성한다.
우울증은 전 세계적으로 장애의 주요 원인이지만, Patient Health Questionnaire-9(PHQ-9)와 같이 검증된 설문지는 종종 작성되지 않아 희소하고 편향된 데이터를 낳는다. AI 정신건강 애플리케이션 사용자는 기분, 수면, 기능 상태를 요청 없이도 자주 서술하며, 이는 증상에 대한 연속적인 기록을 만들어 낸다. 본 연구에서는 이러한 대화만으로 PHQ-9 점수를 예측한다. 많은 임상 언어 과제와 마찬가지로 레이블은 부족하고 불균형하다. 이를 해결하기 위해 Qwen 3.5 27B를 회귀 헤드와 함께 미세 조정하고, 3,111개의 정답 레이블을 최첨단 추론 모델과 반복적으로 학습된 중간 모델들이 생성한 의사 레이블로 증강하여, 점수가 더 균형 잡힌 5,524명의 사용자로 확장하였다. 보류된 422명의 사용자에서 모델은 MAE $= 3.98$, Pearson $r = 0.67$, 임상 기준(PHQ-9 $\geq 10$)에서 AUC $= 0.88$을 달성하였으며, PHQ-9 $\geq 3$부터 PHQ-9 $\geq 24$에 이르는 심각도 기준 전반에서 AUC가 $> 0.80$으로, 모델이 전체 임상 스펙트럼에 걸쳐 우울증 심각도를 포착함을 보여 준다. 이러한 결과는 자기 보고 없이도 수동적인 우울증 모니터링이 가능함을 뒷받침한다.
자동 점수는 대규모 언어 모델이 프롬프트, 제공자, 언어에 걸쳐 브랜드를 어떻게 서술하는지 요약하는 데 자주 사용된다. 이러한 점수는 답변이 다르기 때문에, 점수 측정 도구가 텍스트나 언어에 따라 다르게 작동하기 때문에, 또는 두 가지 이유 모두로 인해 달라질 수 있다. 우리는 저장된 브랜드 레이블 20개, 질의 언어 8개, 제공자 별칭 3개, 프롬프트 식별자 15개를 교차한 설계에서 얻은 12,933개의 응답으로 이 측정 문제를 검토한다. 결과 변수는 다국어 감성 분류기의 부호 있는 승리 클래스 신뢰도이며, 중립이 승리한 경우는 0으로, 긍정과 부정이 승리한 경우에는 부호 있는 신뢰도로 코딩한다. 전체 응답에 적합한 교차 선형 혼합 모형은 적합된 분산의 26.49%를 질의 언어에, 1.46%를 브랜드에 배정한다. 영어를 제외하고 다시 적합한 탐색적 분석에서는 언어에 5.07%, 브랜드에 2.23%가 배정된다. 이 백분율들은 분모가 서로 다르다. 전체 적합 분산은 65.08% 감소하고, 브랜드 분산의 절대량은 46.65% 감소한다. 영어에서는 1,620개의 답변 중 591개가 부정 분류기 점수를 받은 반면, 나머지 일곱 개 언어에서는 11,313개의 답변 중 77개가 부정 점수를 받았다. 이 결과는 원래의 분산 분해가 영어 포함 여부에 매우 민감함을 보여준다. 다만 영어가 인과적 효과를 가진다는 점을 식별하지 못하며, 영어 답변이 브랜드에 대해 더 부정적이라는 점을 입증하지도 않는다. 이 분류기는 트윗 감성에 맞춰 학습되었고, 별도의 대상 브랜드 조건을 입력받지 않으며, 문서화된 감성 미세조정 세트에 포함된 연구 언어는 영어뿐이다. 따라서 자동 점수의 차이는 실질적인 결론을 내리기 전에 답변과 측정 도구 양쪽의 속성으로서 점검되어야 한다.
감정 데이터셋(dataset)은 각 감정 범주에 하나의 극성을 할당함으로써 긍정 및 부정의 정서가(valence)로 일상적으로 매핑됩니다. 본 연구에서는 SemEval-2018 Affect in Tweets(영어, 아랍어, 스페인어), EmoBank와 정렬된 Affective Text, 가공되지 않은 GoEmotions 주석, 자연스러운 해시태그 말뭉치, 통제된 주석 연구를 활용하여 이러한 방식이 작동하는 경우와 실패하는 경우를 검증합니다. 고정된 투영은 텍스트가 단일 정서가의 레이블을 가질 때는 잘 작동합니다. 그러나 레이블만으로도 식별 가능한 하위 집합, 즉 감정 레이블들이 상반된 방향을 가리키는 트윗에서는 실패합니다. 이들은 극성을 지닌 SemEval 테스트 트윗의 9.0%에 불과하지만 학습된 투영의 극성 오류 중 54.8%를 유발하며, 중립 또는 복합(neutral-or-mixed) 정답 레이블을 받을 가능성이 두 배 이상 높고, 전체 레이블 집합을 모델링하더라도 구제되지 않습니다. 어노테이터들은 이러한 구성을 일상적으로 생성하며, 다중 레이블 GoEmotions 판단의 16.3%는 데이터셋 자체의 긍정 및 부정 상위 범주에 속한 감정들을 결합합니다. 단어와 독자를 일정하게 유지한 통제 연구에서, 문맥은 대조군의 19.9%에 비해 56.8%의 경우에서 거친 정서가 판단을 변화시켰습니다. 본 연구에서는 개별 레이블 대신 레이블 구성을 투영하고, 레이블이 충돌하는 경우 기권하거나 복합 클래스를 유지하며, 정확도와 함께 커버리지(coverage)를 보고할 것을 권장합니다.
자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.
감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.
대화에서 의사소통적 의미를 탐지하기 위해서는 어휘적 내용뿐 아니라 감성, 감정, 공손함, 격식성(SEPF)이 표현되는 참여자 역할 구조도 모델링해야 한다. 기존 접근법들은 문맥적 언어 표현에 의존하면서 의미역(semantic role)은 암묵적으로 남겨둔다. 본 연구에서는 네 가지 SEPF 차원을 이론에 기반한 의미역 레이블링(Semantic Role Labeling, SRL) 구성에 매핑하고, 이 구성을 트랜스포머의 셀프 어텐션(self-attention) 메커니즘에 직접 통합하는 역할 인식(role-aware) 트랜스포머 아키텍처를 제안한다. 역할 인식 어텐션은 방향성이 없는 내적 상태(감성 및 감정)를 모델링하며, 방향성을 갖는 역할 인식 어텐션은 외적 신호(공손함 및 격식성)에 대한 발화자-수신자(initiator-to-recipient) 관계를 포착한다. 이렇게 얻어진 역할 인식 표현은 의미역을 보조 특징(feature) 벡터로 덧붙이는 방식이 아니라, 각 입력이 기여하는 역할 정보의 양을 적응적으로 가중하는 학습된 게이트(gate)를 통해 문맥 임베딩(contextual embedding)과 융합된다. 네 개의 벤치마크(benchmark) 데이터셋에 걸쳐, 이 프레임워크는 강력한 BERT 기반 베이스라인에 비해 감정, 공손함, 격식성에서 통계적으로 신뢰할 수 있는 성능 향상을 보였으며, 그 향상은 저빈도의 복잡한 감정이나 매우 공손한 표현과 같이 이론적으로 예측된 경우에 집중되었다. 반면 감성에서의 향상은 미미하고 통계적으로 유의하지 않았는데, 이는 감성이 참여자 역할 구조보다는 어휘 선택을 통해 더 많이 전달됨을 시사한다. 실제 데이터에 대한 추가 평가는 이 프레임워크가 예측 성능과 모델 추적 가능성(traceability)을 모두 향상시킨다는 것을 보여준다. 이러한 결과는 트랜스포머 셀프 어텐션에 대한 언어학적으로 근거 있는 수정이 의사소통적 의미 탐지를 향상시키고, 벤치마크 데이터셋을 넘어 실제 정신 건강(mental-health) 데이터로도 일반화되며, 예측 성능을 넘어 해석 가능성(interpretability)까지 확장하는 추적 가능하고 역할에 근거한 설명을 제공함을 보여준다.
웨어러블 기기는 생체 및 행동 데이터를 점점 더 높은 정확도로 포착하지만, 이러한 결과를 형성하는 심리적 맥락은 센서 데이터만으로는 복원하기 어려워 조기 조난 신호 감지, 맞춤형 개입, 적시의 임상적 지원과 같은 디지털 헬스 목표를 위한 수동적 센싱(passive sensing)의 유용성을 제한합니다. 본 연구에서는 매우 짧은 일상적 고민 텍스트가 수동적 센싱을 위한 확장 가능한 보완재 역할을 할 수 있는지 살펴보았습니다. Oura ring으로 추적 관찰된 대학생 458명을 대상으로 한 1년간의 연구(3,610 person-waves)에서, 참가자들은 가장 걱정되는 점에 대한 개방형 프롬프트에 격월로 응답하였으며, 응답의 중간값 길이는 세 단어였습니다. 본 연구에서는 짧은 일상적 텍스트에서 생리학적으로 유의미한 신호를 가장 잘 복원하는 방법을 파악하기 위해 사전 기반, 범용 사전학습, 도메인 적응형 자연어 처리(NLP) 접근 방식을 9가지 수면 및 신체 활동 결과를 대상으로 개인 내 혼합 효과 모델(within-person mixed-effects models)을 사용하여 비교했습니다. 학업에 대한 걱정 표현이 주를 이룬 주간은 신체 활동량 감소와 관련이 있었으며, 정서적 탈진 언어가 두드러진 주간은 수면 질 저하 및 심박 변이도(heart rate variability) 감소와 관련이 있었습니다. 범용 사전학습 임베딩은 대부분의 결과에서 도메인 적응 모델만큼 우수하거나 더 나은 성능을 보였으며, 두 모델 간의 차이는 대체로 미미하고 추정 오차 범위 내에 있었습니다. 고민 주제에 대한 제로샷(zero-shot) 분류는 결과와의 연관성에 대해 일관된 증거를 보이지 않은 반면, 세 가지 방법 전반에 걸친 정서적 차원은 더 많은 연관성을 나타냈으나 다중 비교 보정(correction for multiple comparisons)을 통과하지는 못하여 주제별 내용보다 정서적 분위기(emotional register)가 더 많은 신호를 담고 있을 수 있다는 초기 증거를 제공했습니다. 이러한 결과는 디자인 가이드라인을 제공합니다. 즉, 매우 짧은 정서적 프롬프트는 최소한의 부담으로 수동적 생체 데이터의 심리학적 해석 가능성을 풍부하게 합니다.
본 튜토리얼은 자연어 처리(NLP)의 헬스케어 도메인 적용, HealthcareNLP 분야에서 우리가 달성한 성과, 그리고 미래를 향한 과제에 초점을 맞춥니다. 이 분야의 기존 리뷰들은 개인정보 보호 문제를 해결하기 위한 합성 데이터 생성이나 보다 나은 통합 및 구현을 위한 설명 가능한 임상 NLP 같은 몇 가지 중요한 태스크를 간과하거나, 검색-증강 생성(RAG) 및 대규모 언어 모델(LLM)과 지식 그래프(KG)의 뉴로-심볼릭 통합을 포함한 주요 방법론을 언급하지 못했습니다. 이러한 점을 고려하여, 본 튜토리얼의 목표는 3단계 계층 구조를 통해 환자 및 자원 지향적인 HealthcareNLP의 가장 중요한 하위 분야에 대한 입문적 개요를 제공하는 것입니다. 3단계 계층은 데이터/자원 층(어노테이션 가이드라인, 윤리적 승인, 거버넌스, 합성 데이터), NLP-평가(Eval) 층(개체명 인식(NER), 관계 추출(RE), 감성 분석과 같은 NLP 태스크 및 분류된 방법론을 통한 링킹/코딩, 이를 통한 설명 가능한 HealthAI 구축), 환자 층(환자 및 대중 참여(PPIE), 건강 이해도, 번역, 단순화, 요약(이 역시 NLP 태스크임), 공유 의사결정 지원)으로 구성됩니다. 청중이 HealthcareNLP 애플리케이션을 직접 사용할 수 있도록 튜토리얼에 실습 세션이 포함될 예정입니다. 대상 청중은 헬스케어 응용 분야의 NLP 실무자, 도메인 응용에 관심이 있는 NLP 연구자, 헬스케어 연구자, 그리고 NLP 분야의 학생들입니다. 본 튜토리얼의 유형은 "CL/NLP 주제 입문(HealthcareNLP)"이며 청중은 참석을 위한 사전 지식이 필요하지 않습니다. 튜토리얼 자료: https://github.com/4dpicture/HealthNLP
소셜 미디어상의 고객 피드백 자동 분석은 레이블이 지정된 학습(training) 데이터의 높은 비용, 특히 다국어 환경에서의 평가 셋 부족, 데이터 공유 및 재현성을 저해하는 개인정보 보호 문제라는 세 가지 난관에 직면해 있습니다. 본 연구에서는 프랑스 대중교통 이용객의 불만/곤경 감지 사례 연구에 적용 가능한 일반화된 합성 데이터 생성 파이프라인을 개발하여 이러한 문제를 해결합니다. 우리의 접근 방식은 파인튜닝(fine-tuning)된 모델을 활용한 역번역(backtranslation)을 통해 소규모 시드 코퍼스로부터 170만 건의 합성 트윗을 생성하고, 여기에 합성 추론 경로(synthetic reasoning traces)를 보완합니다. 영어 및 프랑스어 추론 능력을 갖춘 6억 개의 매개변수(600M-parameter)를 가진 추론 모델을 학습시켰으며, 이 모델은 사람이 주석을 단 평가 데이터에서 77~79%의 정확도를 달성하여 SOTA 상용 대규모 언어 모델(LLM) 및 특화된 인코더와 동등하거나 이를 뛰어넘는 성능을 보였습니다. 본 파이프라인은 주석 비용을 절감하는 것을 넘어 민감한 사용자 데이터 노출을 제거함으로써 개인정보를 보호합니다. 우리의 방법론은 다른 사용 사례 및 언어에도 적용될 수 있습니다.
셀프 어텐션(self-attention) 메커니즘은 트랜스포머(Transformer) 구조의 성공에 핵심적인 역할을 합니다. 그러나 표준 행-확률적(row-stochastic) 어텐션은 레이어를 거치면서 심각한 신호 저하를 겪는 것으로 나타났습니다. 특히 토큰 표현이 점차 균일해지는 랭크 붕괴(rank collapse)와 매우 집중된 어텐션 분포를 특징으로 하는 엔트로피 붕괴(entropy collapse)를 유발할 수 있습니다. 최근 연구에서는 엔트로피 정규화의 한 형태로서 이중 확률적(doubly stochastic) 어텐션의 이점을 강조하며, 더욱 균형 잡힌 어텐션 분포를 촉진하여 실증적 성능 향상으로 이어진다는 점을 보여주었습니다. 본 논문에서는 네트워크 깊이에 따른 랭크 붕괴를 연구하고, 싱크혼(Sinkhorn) 알고리즘으로 정규화된 이중 확률적 어텐션 행렬이 표준 소프트맥스(softmax) 행-확률적 어텐션 행렬보다 랭크를 더 효과적으로 보존함을 보입니다. 소프트맥스에서 기존에 입증되었듯이, 스킵 연결(skip connection)은 랭크 붕괴를 완화하는 데 결정적입니다. 우리는 감성 분석과 이미지 분류 태스크 모두에서 이러한 현상을 실증적으로 검증합니다. 나아가 싱크혼 정규화를 사용할 때 순수 셀프 어텐션의 랭크 감쇠에 대한 이론적 경계를 유도하며, 소프트맥스에서 이미 입증된 현상과 마찬가지로 랭크가 네트워크 깊이에 따라 이중 지수적(doubly exponentially)으로 1까지 감쇠함을 발견합니다.
고전 데이터 처리 및 머신러닝 분야에서 널리 적용 가능한 양자 우위(quantum advantage)를 입증하는 것은 오랜 기간 근본적인 미해결 문제였습니다. 본 연구에서는 폴리로그(polylogarithmic) 크기의 소형 양자 컴퓨터가 샘플을 실시간(on the fly)으로 처리함으로써 대규모 고전 데이터에 대한 대규모 분류(classification) 및 차원 축소를 수행할 수 있음을 증명합니다. 반면, 동일한 예측 성능을 달성하는 임의의 고전 컴퓨터는 기하급수적으로 더 큰 크기를 필요로 합니다. 나아가, 요구되는 크기보다는 작지만 기하급수적으로 큰 고전 컴퓨터라 하더라도 초다항식적(superpolynomially)으로 더 많은 샘플과 시간을 필요로 합니다. 저자들은 단일 세포 RNA 시퀀싱 및 영화 리뷰 감성 분석(sentiment analysis)을 포함한 실제 응용 분야에서 이러한 양자 우위의 증거를 제시하며, 60개 미만의 논리 큐비트로 크기를 4~6 자릿수(orders of magnitude) 감소시킬 수 있음을 입증합니다. 이러한 양자 우위는 무작위 고전 데이터 샘플만을 사용하여 양자 중첩 상태에서 고전 세계에 접근하는 알고리즘인 양자 오라클 스케칭(quantum oracle sketching)을 통해 가능해집니다. 고전적 그림자(classical shadows)와 결합된 본 알고리즘은 데이터 로딩 및 판독(readout) 병목 현상을 우회하여 대규모 고전 데이터로부터 간결한 고전 모델을 구축하며, 이는 해당 양자 컴퓨터보다 기하급수적으로 크지 않은 고전 컴퓨터로는 불가능함이 증명된 과제입니다. 이러한 양자 우위는 고전 컴퓨터에 무제한의 시간이 주어지거나 BPP = BQP인 경우에도 유지되며, 오직 양자역학의 정확성에만 의존합니다. 종합적으로, 본 연구 결과는 고전 데이터 기반 머신러닝이 양자 우위의 광범위하고 자연스러운 영역이자 복잡도 경계에서 양자역학을 검증하는 근본적인 테스트임을 확립합니다.
비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.