PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.14180v3cs.CL

외부 표현 없는 내부 지식: 고전 중국어 언어 모델의 일반화 경계 탐색

Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model

순수 고전 중국어 15.6억 토큰으로 구성된 큐레이션 코퍼스에서 318M 매개변수 트랜스포머 언어 모델을 처음부터 학습했으며, 영어 문자나 아라비아 숫자는 전혀 포함하지 않았다. 체계적인 분포 외(OOD) 테스트를 통해, 모델이 알려진 입력과 알려지지 않은 입력을 구별하는지, 그리고 그 구별을 생성 텍스트에서 표현하는지를 조사했다. 내부적 불확실성과 외부적 불확실성 사이에 뚜렷한 분리가 있음을 발견했다. 내부적으로 모델은 실제 역사적 사건과 조작된 사건 사이에서 perplexity 점프 비율 2.39배를 보였으며(p = 8.9e-11, 그룹당 n = 92), 반조작 사건(실존 인물 + 허구적 행동)에서 가장 높은 perplexity(4.24배, p = 1.1e-16)를 나타내어, 구문 패턴 매칭을 넘어선 진정한 사실적 인코딩을 입증했다. 외부적으로는 모델이 불확실성을 표현하는 법을 전혀 학습하지 못했다. 고전 중국어의 인식론적 표지(epistemic marker)는 OOD 질문(3.5%)에서 분포 내 질문(8.3%)보다 더 낮은 비율로 나타났으며(p = 0.023), 이는 진정한 메타인지가 아니라 학습 데이터의 수사적 관습을 반영한다. 이 두 발견을 세 언어(고전 중국어, 영어, 일본어), 세 문자 체계, 110M부터 1.56B까지 8개 모델에 걸쳐 검증했다. 내부적 사실 인코딩 효과는 8개 모델 중 6개에서 재현되며 스케일링에 따라 나타난다(가장 작은 일본어 모델 2개는 아직 실제 역사와 조작된 역사를 구분하지 못함). 반면 불확실성 표현의 외부적 부재는 8개 모델 모두에서 일관된다. 또한 불확실성 표현 빈도는 인식 상태가 아니라 전적으로 학습 데이터 관습에 의해 결정됨을 보였다. 고전 중국어 모델은 "겸손 역설"(humility paradox, 알려진 주제에서 더 많은 완곡 표현)을 보이는 반면, 일본어 모델은 거의 완곡 표현을 하지 않는다. 메타인지적 표현—"모르겠다"고 말하는 능력—은 언어 모델링만으로는 창발하지 않으며, 인간 피드백 강화학습(RLHF)과 같은 명시적 학습 신호가 필요하다고 주장한다.

arXiv:2606.24093v1cs.CL

Predicting Poets' Origins from Verse: A Computational Analysis of Regional Linguistic Fingerprints in the Complete Tang Poems

《全唐詩》과 CBDB를 이용해 357명 시인의 행정구(道) 출신을 다중 분류로 예측했으며, 문자 n-gram TF-IDF와 이미지·계절·용典 등 해석 가능한 특징으로 남북 구분 정확도 0.69(다수 클래스 기준 0.53)를 달성했다. 지역 간 언어 거리는 지리적 거리와 함께 증가하고 시대에 따라 신호 강도가 달라지며, GuwenBERT는 단순 TF-IDF를 넘지 못해 문자 n-gram이 지역적 언어 지문을 이미 포착함을 보여준다.