arXiv:2606.24093v1 cs.CL

Predicting Poets' Origins from Verse: A Computational Analysis of Regional Linguistic Fingerprints in the Complete Tang Poems

Chi-Sheng Chen, Hung-Yun Liu

제출 2026-06-23

원문 초록

We ask whether the geographic origin of Tang-dynasty poets leaves a detectable linguistic trace in their work. Aggregating every poem attributed to each author in the Complete Tang Poems (Quan Tang Shi) and linking poets to their administrative circuit of origin via the China Biographical Database (CBDB), we build a poet-level corpus of 357 poets across the ten Tang circuits and frame origin prediction as multi-class classification. Using character $n$-gram TF-IDF together with interpretable domain features (imagery, season, and allusion), classical and neural models predict a poet's broad region (South vs.\ North) at $0.69$ accuracy, well above the $0.53$ majority baseline, and finer circuit-level origin above chance. Beyond classification, three findings emerge. (i) Linguistic distance between circuits grows with geographic distance (Mantel $r=0.40$, $p\approx0.09$ over nine circuits), evidence of a distance-decay effect in poetic language. (ii) The signal interacts with time: South/North separability is at chance in the High Tang and strongest in the Late Tang, consistent with court-driven homogenization at the empire's height followed by regional divergence. (iii) The model's confident errors are historically meaningful -- in the Early Tang, every misclassification is a southern poet read as northern, reflecting the prestige of the northern court idiom. We further show that, when given the whole corpus through a hierarchical frozen-encoder representation, a classical-Chinese transformer (GuwenBERT) only matches -- not beats -- simple TF-IDF, and that combining them adds nothing, indicating that character $n$-grams already capture the regional signal. Our results position interpretable machine learning as a hypothesis generator for literary history.

요약

《全唐詩》과 CBDB를 이용해 357명 시인의 행정구(道) 출신을 다중 분류로 예측했으며, 문자 n-gram TF-IDF와 이미지·계절·용典 등 해석 가능한 특징으로 남북 구분 정확도 0.69(다수 클래스 기준 0.53)를 달성했다. 지역 간 언어 거리는 지리적 거리와 함께 증가하고 시대에 따라 신호 강도가 달라지며, GuwenBERT는 단순 TF-IDF를 넘지 못해 문자 n-gram이 지역적 언어 지문을 이미 포착함을 보여준다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.24093v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13644v1cs.LG공통 태그 Classification, Feature Engineering

SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크

SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data

정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.

arXiv:2610.02586v1cs.AI공통 태그 Classification, Text Classification

Jev 스타일 타입 기반 결정 모델에서 레이블이 정의를 압도하는 현상

Labels Override Definitions in Jev-Style Typed Decision Models

타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.

arXiv:2608.00045v4cs.CL공통 태그 Text Classification, Feature Engineering

텍스트 기술어로부터 스타트업 엑시트 예측 - 전산언어학적 프레임워크

Predicting Startup Exit from Textual Descriptors - A Computational Linguistics Framework

본 연구는 맥락, 재무 또는 인적 자본 변수에 의존하지 않고도 텍스트 기술어(textual descriptor)만으로 엑시트(Exit)로 정의되는 초기 단계 스타트업의 성공을 예측할 수 있음을 보여준다. 20년에 걸쳐 7,419개 스타트업을 포괄하는 벤처 캐피털 큐레이션 데이터셋을 활용하여, 본 연구는 텍스트 기반 프레이밍 변수를 분리하고 스타트업 내러티브 매핑을 통해 850개의 특징(feature)을 엔지니어링한다. 데이터 하위 집합과 벡터 임베딩(embedding)의 통계적 유의성을 평가한 후, 6개 모델에 걸쳐 지도 머신러닝 실험을 수행한다. 로지스틱 회귀(Logistic Regression)를 사용한 이진 엑시트 예측은 임베딩을 제외한 모든 특징을 사용했을 때 0.55의 재현율(recall)과 0.48의 F1 점수를 달성하며, 임베딩을 포함한 텍스트 기술어만을 사용했을 때는 0.59의 재현율과 0.26의 F1 점수를 달성한다. 특징 분석 결과에 따르면 형용사, 전문 용어(jargon), 유행어(buzzwords)와 같은 과장 마커(hyping marker)의 최적화된 밀도는 더 높은 엑시트 확률과 연관되어 있는 반면, 과도한 설명문이나 사명(name) 길이는 더 낮은 확률과 연관되어 있음을 나타낸다. 또한 본 연구는 벤처 심사(venture screening)에 잠재적으로 적용할 수 있는 정량화 가능한 Hyping Score를 도입한다. 이러한 결과는 정보 비대칭성이 높은 투자 환경에서 스타트업의 프레이밍이 경제적 성과의 독립적인 예측 요인으로 기능할 수 있음을 시사한다.

arXiv:2609.27043v1cs.CL공통 태그 Classification, Text Classification

EduBehaviors: 교육적 대화의 감사 가능한 코딩을 위한 단언(assertion) 기반 스키마

EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues

대규모 언어 모델(LLM)은 관심 구인(construct)에 해당하는 교육학적 주석의 신속한 배포를 가능하게 했으며, 대화형 데이터셋(dataset)에서 분류를 생성하기 위한 자연어 인터페이스를 제공한다. 그러나 LLM 추론의 불투명한 특성 때문에, 모델(model)이 발화에 대해 특정 레이블을 선택한 이유에 대한 검증 가능하고 기계적인(mechanistic) 통찰을 얻을 수 없다. 우리는 EduBehaviors 프레임워크를 제안한다. 이는 해석 가능하고 확장 가능한(scalable) 교육 데이터 주석 접근법으로, LLM을 사용해 많은 관심 구인과 관련된 반복적 관측 가능 행동(observable behaviors)을 측정한 뒤, 이러한 관측 가능 행동을 바탕으로 해당 구인에 대한 분류기(classifier)를 학습한다. TalkMoves 데이터셋에서 프레임워크를 평가하며 Teacher TalkMoves 레이블을 예측한다. 최적 구성은 macro-F1 0.673과 Cohen's kappa 0.688을 달성하여 직접 프롬프팅(direct prompting) 접근법과 경쟁력 있는 성능을 보였다. 또한 연구자가 자체 데이터에서 EduBehaviors 프레임워크를 운영적으로 구현할 수 있게 하는 두 가지 도구인 EduBehaviors Toolkit을 공개한다.

arXiv:2609.27950v1cs.CR공통 태그 Classification, Feature Engineering

자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상

Enhancing Multiclass Malware Classification in Resource-Constrained Environments

랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.

arXiv:2609.27749v1cs.AI공통 태그 Text Classification, Feature Engineering

신규 AI 지원 교육 문항의 교육학적 평가를 위한 사전학습 모델 평가

Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

AI 지원 교육 자료 생성의 급증은 교육학적 품질을 검증할 역량을 앞질러 왔다. Bloom Classifier 모델을 이용한 자동 평가는 교육 자료를 대규모로 평가하는 유망한 접근이다. 이러한 모델은 분포 내(in-distribution) 데이터셋(IID 데이터셋)에서 높은 정확도를 보인다. 그러나 동일한 모델을 AI 지원 생성 문항과 같은 새로운 분포 외(out-of-distribution, OOD) 데이터셋에 적용하면 성능 저하가 나타날 수 있다. 데이터셋 이동(dataset shift) 하에서 견고한 분류기를 찾기 위해 Bloom 수준 분류 과제에 대해 전통적 머신러닝(ML), 트랜스포머, 대규모 언어 모델(LLM)을 평가했다. 또한 NLP 지표를 포함한 특징 공학(feature-engineering) 전략, 입력의 일부로 학습 목표를 덧붙이는 방법, OOD 성능을 안정화하기 위한 텍스트 스플라이싱(text splicing)을 탐구했다. 기준선 테스트는 TFPOS-IDF ML 모델이 OOD에서 BERT(0.55) 및 LLM(0.79)에 비해 낮은 성능(Macro F1-score 0.48)을 보임을 나타낸다. 텍스트 스플라이싱은 ML 및 BERT 모델의 macro F1-score 성능을 각각 0.59와 0.62로 향상시켰다. 입력에 학습 목표를 덧붙이는 것은 특정 데이터셋에서 모델 성능을 높였다. 모델 재학습은 모델과 데이터셋 전반에서 가장 큰 개선을 제공했다. 전반적으로 이러한 결과는 신규 AI 지원 교육 문항에 사전학습 모델을 사용할 때의 트레이드오프와, 전략적 특징 강화가 성능 저하를 완화하는 데 어떻게 기여하는지를 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.