PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10988v1cs.CL

스타일의 귀환: 사용자 시뮬레이션에서 페르소나 충실도 작성 및 측정을 위한 사회언어학적 접근법

Back in Style: A Sociolinguistic Approach to Authoring and Measuring Persona Fidelity in User Simulation

에이전트(agent) 시스템이 상업적 인기를 얻으면서, 사용자 시뮬레이터가 에이전트 평가를 위한 측정 도구로 점점 더 많이 활용되고 있습니다. 그러나 실제 인간 사용자와 비교했을 때 시뮬레이션된 사용자의 충실도는 일반적으로 낮으며, 대개 비용이 많이 들고 주관적인 대규모 언어 모델(LLM) 심사위원에 의해 평가됩니다. 본 예비 연구에서는 사용자의 페르소나를 모델이 행동으로 추론해야 하는 레이블이나 설명으로 예측되는 대상이 아니라, 관찰 가능한 언어적 스타일에서 비롯되는 사회적 유형으로 보는 사회언어학적 관점을 취함으로써 충실도를 결정론적으로 측정할 수 있는지 묻습니다. 우리는 페르소나를 구체적인 스타일적 비율로 작성하여, 저자 검증 문체측정학(authorship-verification stylometry)과 어휘 기반 내용 분석이라는 확립된 두 가지 모델-프리(model-free) 도구를 충실도 진단 도구로 전환할 수 있도록 합니다. 우리는 5개의 작업 지향 고객 서비스 에이전트를 대상으로 사회언어학적 스키마를 단순 설명형 기준선(baseline)과 비교하는 A/B 테스트를 진행했습니다. 결과에 따르면 사회언어학적 스키마는 테스트된 대부분의 모델(model)에서 스타일 준수도와 문체측정학적 구별 가능성을 모두 향상시키는 것으로 나타났으나, 페르소나 스타일 충실도가 페르소나의 "자연스러움"과 반드시 일치하지는 않는다는 한계점도 확인되었습니다. 우리는 페르소나 설계에 대한 사회언어학적 접근법이 더욱 다양하고 대표성 있는 사용자 페르소나를 구축하기 위한 유망한 경로이며, 이러한 지표들이 충실도가 저하되는 지점을 찾아내는 오류 귀속 분석에서 가장 큰 가치를 지닌다고 주장합니다. 본 연구는 사용자 시뮬레이션을 다양하고 가변적인 언어적 출력의 충실한 렌더링에 더 가깝게 만드는 개입을 향한 첫걸음입니다.

arXiv:2609.26687v1cs.CL

해석 가능한 문체 특징을 활용한 GPT 지원 글쓰기 탐지

Detecting GPT-Assisted Writing Using Interpretable Stylometric Features

GPT의 도움을 받아 작성한 학생 글과 독자적으로 작성한 학생 글을 구분하는 일은 학계에서 중요한 과제가 되었다. 본 논문은 제출된 텍스트에서만 추출한 해석 가능한 문체 특징(stylometric features)의 판별 능력을 평가한다. 독자적으로 글을 쓰고 ChatGPT의 도움을 받아서도 글을 쓴 90명의 참여자 데이터를 사용하여, 검증 과정에서 동일 참여자의 데이터를 함께 묶어 유지한 채 여덟 가지 머신러닝 분류기를 평가한다. 홀드아웃 테스트 세트에서 랜덤 포레스트(Random Forest)는 ROC-AUC 0.87, F1 점수 0.84를 달성했으며, 위양성률(False Positive)과 위음성률(False Negative)은 각각 22.2%와 11.1%였다. SHAP 분석 결과, 어휘적 특성과 문법적 특성이 예측 결과를 좌우하는 것으로 나타났다. 이러한 결과는 투명한 텍스트 내재적 특징이 GPT 지원 글쓰기를 탐지하는 데 측정 가능한 신호를 제공함을 시사한다.

arXiv:2608.27855v2cs.CL

AI 작성자는 일관된 문체 측정학적 흔적을 남기지만, AI 편집자는 그렇지 않다

AI Writers Have a Consistent Stylometric Footprint, but AI Editors Do Not

대규모 언어 모델(LLM)이 생성한 텍스트는 사람이 작성한 텍스트와 문체 측정학(stylometry)적으로 구별된다는 점이 밝혀져 왔다(Andre et al., 2023; Shah et al., 2023; Opara, 2024; Soto et al., 2024; Li and Zhang, 2025; Selvioglu et al., 2025). 그러나 LLM은 텍스트를 생성할 뿐만 아니라 사람이 작성한 글을 편집하는 데에도 점점 더 많이 활용되고 있으며, 두 행위가 동일한 흔적을 남기는지는 불분명하다. 본 연구에서는 AI 생성이 일관된 "문체 측정학적 흔적(stylometric footprint)"을 남긴다는 것을 보인다. 즉, 주로 엔트로피(entropy)와 어휘 다양성(lexical diversity)으로 구성된 소수의 특징 부분집합이 8개의 LLM과 5개 도메인 전반에서 AI 생성 텍스트를 사람이 작성한 글과 일관되게 구분하는 반면, 나머지 특징들은 도메인과 생성 모델에 크게 의존한다. 그러나 AI 편집은 이러한 동일한 흔적을 재현하지 않는다. 사람이 작성한 원본과 비교했을 때, AI가 편집한 텍스트는 AI 생성의 특징인 동반 증가 대신 어휘 다양성의 미미한 증가와 엔트로피 감소만을 보인다. 생성에는 거의 기여하지 않던 어휘 밀도(lexical density)가 편집과 관련된 지배적인 신호로 작용하게 된다. 따라서 문체 측정학적 특징은 AI 편집 텍스트를 AI 생성 텍스트와 구분하지만, 사람이 작성한 텍스트와 구분하는 데는 훨씬 덜 효과적이다. 본 연구 결과는 "AI 텍스트"가 단일한 현상이 아니며, 생성과 편집은 질적으로 서로 다른 문체 측정학적 흔적을 남기므로 별도로 연구되어야 함을 시사한다.

arXiv:2607.24411v1cs.CR

Occluded Oculus: 문체적 은폐의 운영화

Occluded Oculus: Operationalizing Stylistic Obscurement

올림피아 신들의 경건한 전령 헤르메스(Hermes)가 그리스 신화의 다눈 거인 아르고스 파놉테스(Argus Panoptes)를 쓰러뜨리려면 무엇이 필요했을까? 완벽한 수호자인 파놉테스의 끊임없이 감시하는 눈의 군단은 물론 쓰러뜨리기 어려웠지만, 불가능하지는 않았다. 헤르메스 전략의 핵심은 난독화(obfuscation)와 사보타주(sabotage)였다. 목동으로 위장한 헤르메스는, 그렇지 않았다면 무시무시한 거인에게 헤르메스의 음모를 알렸을 파놉테스의 각 눈을 봉인하고 그를 제압했다. 이 이야기의 교훈은 다음과 같다. 도전자가 위대하고 훨씬 더 잘 갖춰진 강력한 적을 넘어서야 할 때, 교묘한 책략은 단순히 권장될 수준을 넘어 승리에 필수적이다. 본 연구에서 "도전자"는 적대적 전술을 활용하는 집단이며, "다눈 거인"은 문체측정(stylometric) 시스템과 감시 체계를 가리킨다. 다눈 거인이 빼앗아 간 프라이버시를 되찾으려면, 도전자는 공격 계획인 $\textit{TraceTarnish}$를 신중히 평가하고, 텍스트의 저자 익명화에 무엇이 효과적이고 무엇이 그렇지 않은지 판단해야 한다. 이를 위해 우리는 $\textit{TraceTarnish}$의 절제 연구(ablation study)를 수행하여 Translation, Obfuscation, Imitation, Injection 중 어떤 모듈이 문체측정 시스템을 가장 효과적으로 혼란시키는지 더 잘 이해하고자 했다. 결과에 따르면 가장 효과적인 접근법은 Injection이었으며, 이는 제로 너비 유니코드 문자, 동형이의어(homoglyph), 의도적 오철자 삽입이 지칠 줄 모르는 눈들을 충분히 무력화하여 전지전능한 거인의 머리를 차지할 시간을 벌어준다는 것을 의미한다.

arXiv:2607.22884v1cs.CL

CHiPS: 루마니아어 텍스트의 경량 저작자 귀속을 위한 문자 히스토그램 및 위치 신호

CHiPS: Character Histograms and Positional Signals for Lightweight Authorship Attribution in Romanian Texts

본 논문은 루마니아어 텍스트를 위한 경량 문자 수준 저작자 귀속 방법인 CHiPS를 제안한다. 보고된 모든 실험은 폐쇄 집합(closed-set)이다: 실제 저작자는 학습 데이터의 후보 저작자 중 한 명이다. CHiPS는 두 가지 상보적인 문체 지문(fingerprint)을 연구한다. CH-SVM은 단일 문자 주변 분포(one-character marginal distributions)에 기반한 문자 히스토그램 분류기이고, FFT12-LR은 선택된 문자와 문장부호 클래스를 임펄스 열(impulse train, 문자 위치에 대한 이진 지시자 시퀀스)로 표현하고 Fourier/Welch 스펙트럴 기술자(spectral descriptors)를 추출하는 위치 신호 분류기이다. 또한 누출 안전(leakage-safe) 결정 수준 융합 변형인 CHiPS-F와 out-of-fold 예측만으로 학습된 선택적 top-5 리스트와이즈 재순위화기(reranker)를 보고한다. 이 방법은 토큰화, 구문 분석, 사전학습 언어 모델, 또는 트랜스포머 미세조정이 필요하지 않으며, 히스토그램 구성 요소에서는 $n \geq 2$인 문자 $n$-gram 특징을 사용하지 않는다. 392개 원문 그룹의 400개 파일, 10명의 저작자로 구성되고 원문 수준 평가 및 그룹화 5-fold 모델 선택을 적용한 잠금 그룹화 ROST 분할에서 CHiPS-F는 정확도 0.9310과 macro-F1 0.9341에 도달한다. 동일한 held-out 그룹에서 제약 없는 문자 2--5-gram TF--IDF SVM 비교기는 정확도와 macro-F1 모두 1.0000에 도달하므로, 본 기여는 가능한 최고 분류 정확도를 주장하는 것이 아니다. 대신 실험은 엄격한 누출 제어 하에서 제한적이고 투명한 문자 증거가 어느 정도까지 가능한지를 묻는다. 1,240개 원문 그룹의 1,248개 파일, 19명의 저작자로 구성된 ROST와 중복되는 2차 코퍼스인 ROSTories-cleaned에서 동일한 프로토콜은 CHiPS-R에 대해 정확도 0.8919와 macro-F1 0.8708을 제공한다.

arXiv:2606.24093v1cs.CL

Predicting Poets' Origins from Verse: A Computational Analysis of Regional Linguistic Fingerprints in the Complete Tang Poems

《全唐詩》과 CBDB를 이용해 357명 시인의 행정구(道) 출신을 다중 분류로 예측했으며, 문자 n-gram TF-IDF와 이미지·계절·용典 등 해석 가능한 특징으로 남북 구분 정확도 0.69(다수 클래스 기준 0.53)를 달성했다. 지역 간 언어 거리는 지리적 거리와 함께 증가하고 시대에 따라 신호 강도가 달라지며, GuwenBERT는 단순 TF-IDF를 넘지 못해 문자 n-gram이 지역적 언어 지문을 이미 포착함을 보여준다.

arXiv:2606.18222v1cs.CL

Darshana Graph: 비교 인도 철학을 위한 병렬 주석 말뭉치 및 문체론적·탐색적 그래프 분석

Darshana Graph: A Parallel Commentary Corpus for Comparative Indian Philosophy, with Stylometric and Exploratory Graph Analyses

우리는 힌두, 불교, 자이나교의 고전 철학 전통을 아우르는 125,000개 이상의 텍스트 기록으로 구성된 Darshana Graph를 소개합니다. 이 말뭉치는 바가바드 기타, 브라마 수트라, 주요 우파니샤드, 팔리 경전, 핵심 자이나교 텍스트를 포함한 공개 도메인 및 오픈 라이선스 번역본에서 추출되었습니다. 이 말뭉치의 독특한 기여는 약 8,500개의 힌두 및 자이나 기록으로 구성된 구조적으로 독특한 부분 집합에 있습니다. 여기서는 베단타 학파 5개와 다른 다르샤나(darshanas)를 대표하는 18명의 역사적 주석가에 걸쳐 동일한 근본 구절이나 수트라(sutra)가 정렬되어 있어, 독립적인 해석 전통이 동일한 원본 자료를 어떻게 읽는지 직접 비교할 수 있습니다. 우리가 아는 한, 이 규모에서 비교 가능한 주석가 간 정렬을 제공하는 공개적으로 이용 가능한 자원은 없습니다. 우리는 이 말뭉치를 기반으로 구축된 두 가지 분석을 제시합니다. 첫째, 머신러닝(machine learning)이 필요 없는 투명한 문체론적 비교를 통해 경전 인용 밀도, 명시적 반박률, 문장 복잡성으로 논증 스타일을 측정합니다. 이 분석은 인용 밀도와 반박률 사이의 중간 정도의 음의 상관관계, 관련 교리적 계통에 속한 세 명의 주석가에 걸친 반박률의 현저한 증가, 그리고 팔리 경전 내부의 측정 가능한 장르 수준의 차이를 발견했습니다. 둘째, 미리 정의된 관계 어휘와 결정론적 사후 검증(validation)을 사용하여 개념 간의 유형화된 철학적 관계를 추출하는 제약된 대규모 언어 모델(LLM) 파이프라인을 설명합니다. 결과 그래프는 학파 간 불일치 패턴을 드러내는 동시에, 독립적인 임베딩(embedding) 기반 분석이 그래프에서 도출된 발견과 일치하지 않는 경우를 포함하여 중요한 추출 한계를 보여줍니다. 우리는 전체 말뭉치, 추출된 관계 그래프 및 모든 소스 코드를 공개합니다.

arXiv:2606.06755v1cs.CL

PromptPrint: 대규모 언어 모델(LLM)에서의 자연어 프롬프트를 통한 행동 생체 인식

PromptPrint: Behavioral Biometrics Through Natural Language Prompting in LLMs

저자 식별(authorship attribution) 연구는 전통적으로 장문의 표현적인 텍스트에 초점을 맞춰왔으나, 대규모 언어 모델(LLM)과의 상호작용은 일반적으로 간결하고 작업 중심적인 프롬프트 형태를 띱니다. 이는 근본적인 질문을 제기합니다: 이러한 프롬프트는 안정적이고 저자를 식별할 수 있으며 독특한 신호를 포함하고 있는가? 우리는 PromptPrint를 소개합니다. 이는 프롬프트 기반 신원에 대한 체계적인 연구로, 사용자의 습관적인 어휘, 구문, 담화 패턴이 학습 가능한 행동 생체 인식 정보를 형성한다는 가설을 다룹니다. 1,034명의 사용자로부터 수집한 20,680개의 실제 프롬프트를 사용하여, 우리는 세 가지 주요 발견을 확립했습니다. 첫째, 어휘적 표현이 의미적 인코더보다 현저히 우수한 성능을 보여 "어휘적 안정성 가설(lexical stability hypothesis)"을 뒷받침합니다: 신원은 추상적인 의도보다는 주로 표면 수준의 단어 선택에 인코딩됩니다. 둘째, 문체론적 특징(stylometric features)은 "독창성-일관성 역설(uniqueness-consistency paradox)"을 보여줍니다: 사용자들은 전체 집단에서는 매우 구별 가능하지만, 다양한 맥락에서는 행동적으로 일관성이 없습니다. 셋째, 적대적 분석(adversarial analysis)을 통해 명확한 취약성 스펙트럼이 드러났습니다: 신원 신호는 사소한 어휘적 섭동에는 강건하지만, 의미적 의역(semantic paraphrasing) 하에서는 현저히 저하됩니다. 전반적으로, 우리의 결과는 대규모 환경에서 강력한 식별 성능을 입증하며, 프롬프트 기반 신원을 실행 가능한 행동 생체 인식 수단으로 확립했습니다. 이 연구는 LLM 상호작용에서의 사용자 모델링에 대한 새로운 관점을 제시하며, 보안과 프라이버시에 중요한 시사점을 가집니다. 데이터와 코드는 본 연구가 수락된 후 공개될 예정입니다.