student.uml.edu

이 이메일 도메인이 관측된 논문 2건

arXiv:2606.00230v2cs.LG

언어 모델의 사전학습에서 나타나는 그로킹 유사 현상: 지연된 문법적 일반화 추적

A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization

신경망이 학습(training) 데이터를 피팅한 후 한참 뒤에 일반화되는 현상인 그로킹(grokking)은 많은 에포크(epoch)를 거치는 지도학습 환경에서 주로 연구되어 왔습니다. 반면 대규모 언어 모델(LLM)의 사전학습(pre-training)은 라벨이 없는 코퍼스에 대한 다음 토큰 예측(next-token prediction)으로 이루어지며, 데이터 반복이 제한적이고 명시적인 학습/검증(validation) 분할이 없습니다. 이를 해결하기 위해, 본 연구에서는 LLM 사전학습 도중 그로킹과 유사한 역동성을 연구할 수 있도록 하는 노출 기반 프레임워크를 제안합니다. 통제된 문법적 대조를 제공하는 BLiMP 최소 대립쌍(minimal pairs)을 기반으로 평가를 수행합니다. 모든 BLiMP 최소 대립쌍에 대해 문법적 대조와 현상 관련 문맥을 포착하는 가장 작은 연속 구간인 핵심 구(critical phrase)를 식별합니다. 핵심 구가 사전학습 윈도우에 나타나는 예제는 대리 학습(proxy-train) 분할에 할당되고, 나머지 예제는 대리 검증(proxy-validation) 분할에 할당됩니다. 5가지 문법 현상 전반에 걸쳐 지연된 일반화가 관찰됩니다. 일반화 전후의 사전학습 체크포인트를 분석한 결과, 문법 개념 벡터는 문법적 수용성을 더 잘 예측하게 되며 일반화 이후 더 고차원의 부분공간(subspace)을 차지함을 보여줍니다. 또한 핵심 토큰(token)에서 관련 문맥 토큰으로 향하는 어텐션(attention)이 소수의 헤드에 집중되어 있음을 발견했습니다.

arXiv:2609.20827v1cs.CL

퇴원 안내서에서 환자 이해까지: 페르소나 기반 개방형 시뮬레이션으로 본 퇴원 교육자 LLM

From Discharge Notes to Patient Understanding: Persona-Grounded, Open-Ended Simulation of LLMs as Discharge Educators

병원 퇴원 교육은 상호작용적 교수 과업이다. 임상의는 환자의 문해력, 기억력, 성격에 맞춰 퇴원 계획을 조정한다. 기존 LLM 평가는 정적 과업이나 산출물 생성 과업을 대상으로 하며, 개방형 대화에서의 환자 이해를 측정하지 않는다. 우리는 후보 LLM 교육자가 가상 환자(Virtual Patient)와 다턴 세션을 진행하는 페르소나 기반 시뮬레이션 DischargeBench를 제안한다. 이때 Education Monitor 에이전트가 교육자를 수정하지 않은 채 환자의 현실성을 조절하여 평가 신호를 보호한다. 24개 ICD 장(chapter)에 걸친 477건의 MIMIC-IV-Ext-DischargeBench를 구축했으며, 페르소나 축(성격, 교육 수준, 건강 문해력, 과거 병력 회상)으로 층화 분석이 가능하다. 각 시뮬레이션은 의사 주석에 정렬된 LLM-as-a-Judge로 대화 품질(Conversation Quality), 주제 체크리스트(Topic Checklist), 이해(Comprehension), 사실 일관성(Factual Consistency) 네 축에서 채점된다. 폐쇄형·오픈소스 LLM 전반에서 집계 점수는 ICD 장과 환자 페르소나에 따른 임상적으로 의미 있는 변동을 가린다. 어려운 페르소나는 주제 커버리지 실패, 이해 공백, 출처-답변 일치 저하를 드러낸다. 퇴원 교육을 위한 LLM 평가는 텍스트 품질이나 답변 정확도만이 아니라 환자 이해를 중심에 두어야 한다.