PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13794v1cs.CL

단순한 평가를 넘어서: 언어 모델의 담화 표지 민감도에 관한 사례 연구

Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models

담화 표지(discourse particle)는 대화 문맥과 화자의 태도를 반영하여 담화의 흐름을 미묘하게 형성하며, 진리 조건적 의미(truth-conditional meaning)는 그대로 두는 경우가 많습니다. 또한 담화 표지는 서로 다른 의미가 다른 표지와 부분적으로 겹치는 다기능성(polyfunctional)을 띠는 경우가 흔하며, 예를 들어 영어의 "just"와 "only"의 배타적 용법("John only/just drinks water")이 이에 해당합니다. 자연어에서 이러한 단어들의 빈번한 사용에도 불구하고, 그 효과의 미묘한 특성으로 인해 대체로 연구되지 않았습니다. 본 연구에서는 행동 분석 및 기제 분석(mechanistic analysis)을 통해 자연스러운 대화에서 "just"와 "only"에 대한 대규모 언어 모델(LLM)의 민감도를 조사합니다. 첫째, LLM과 인간 모두 문맥 내에서 이러한 표지가 존재하는 것을 비슷하게 선호하며, 둘 다 "only"에 비해 "just"에 더 민감하다는 점을 발견했습니다. 둘째, 이러한 표지가 있거나 없는 상태에서 LLM으로부터 샘플링할 때, LLM은 원본 문맥이 주어졌을 때의 생성 결과를 일관되게 더 높은 확률로 평가하여 표지 민감도를 입증했습니다. 두 실험 모두에서 지시 미세조정(instruction tuning)은 민감도를 증가시킵니다. 마지막으로, LLM 내에서 표지 민감 유닛(unit)을 국소화한 결과 "just"와 "only" 사이의 중첩이 비대칭적임을 확인했습니다. 즉, "only" 유닛은 배타적 "just"에 선택적으로 전이되는 반면, 모든 "just" 유닛은 의미에 관계없이 동일하게 "only"로 잘 전이되어 LLM의 어휘 수준 표지 표현이 부분적으로 의미별로 구조화되어 있음을 시사합니다. 저희는 코드, 의미 라벨이 부착된 대화 자극 자료, 인간 선호도 주석을 https://github.com/JiahuiKChen/Not_Just_an_Evaluation 에 공개합니다.

arXiv:2607.20451v1cs.CL

의미장 이론: 역사적 기원, 고차 상호작용, 및 안정화된 의미 추론

Semantic Field Theory: Historical Origin, Higher-Order Interaction, and Stabilized Semantic Inference

의미장 이론(Semantic Field Theory, SFT)은 언어 게임에 대한 강한 반형식주의적 해석에 대한 철학적 비판에서 출발하여, 어휘 의미론, 고차 합성, 안정화된 해석을 위한 제안된 계산 모델 클래스로 발전해 왔다. 본 논문은 그 발전 과정을 재구성하고, 계산언어학과 표현 학습에서 독립적으로 평가할 수 있도록 SFT에 더 명확한 수학적 핵을 부여한다. 핵심 제안은, 다루기 쉬운 수준의 언어 조직화가 의미장으로 표현된 어휘 표현, 해당 장들의 문맥적 변형, 토큰 부분집합에 정의된 상호작용 항, 의미 에너지 역학에 의해 지배되는 안정화를 통해 모델링될 수 있다는 것이다. 본 논문은 다섯 가지 형식적 요소를 기여한다. 첫째, 의미장 모델을 의미 공간, 어휘장 리프팅, 문맥 변형 맵, 상호작용 복합체, 해석 범함수로 구성된 튜플로 정의한다. 둘째, 곱셈적 장 상호작용이 명시적 중심, 정밀도, 호환성 인자를 갖는다는 것을 보이는 가우시안 곱 폐쇄 결과를 증명한다. 셋째, 부분집합 격자에 대한 Möbius 역변환을 사용하여 임의 차수의 기약적 의미 상호작용을 분리함으로써 세 단어 문제를 일반화한다. 넷째, 각 상호작용 차수에서 장 질량의 얼마나 많은 부분이 설명되는지를 측정하는 차수 스펙트럼을 도입한다. 다섯째, 안정화된 해석을 문장과 연관된 에너지 범함수의 최소화로 공식화하고, 존재, 하강, 안정성 조건을 제시한다. 소규모 계산 예제는 세 단어 summer day 삼중(triple)이 가우시안 의미장으로 어떻게 표현되고, Python으로 구현되며, 흐름도로 요약될 수 있는지 보여준다. 그 결과는 자연어 의미에 대한 완성된 이론이 아니며, 언어에 대한 사회적, 화용적, 규범적 설명을 대체하지 않는다.

arXiv:2606.24359v1cs.CL

Automatic Part-of-Speech Tagging of Arabic-English Dictionary Senses through WordNet

This paper proposed an algorithm for part-of-speech (POS) tagging senses of a bilingual dictionary. The algorithm is applied on the Al-Mawrid Arabic-English dictionary. The tagging task is accomplished by transferring the POS tags of the English translation equivalences (TEs) to the dictionary senses after dis-ambiguities process. The English POS tags of senses are acquired from the Princeton WordNet. POS tagging of bilingual dictionary senses is prerequisite to link a bilingual dictionary to WordNet and/or standardizing that dictionary into WordNet-LMF format where the synset (set of synonyms), not word, is the basic brick. The registered accuracy is high though the cost is little. Building NLP/HLT tools needs linguistic experts, large investments, and long time. For statistical approach, we need large annotated corpora and for rule-based approach, we need large lexicon that contains rich linguistic and world knowledge. That motivates the appearance of what are called resource-light approaches to develop natural language processing (NLP) tools for poor-resource languages.