PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32119v2cs.CL

문장 이해 중 문맥과 상호참조의 효과를 모델링하기 위한 언어 모델 활용

Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension

언어 모델(LM)은 인간의 언어 처리를 모델링하는 도구로 자주 활용됩니다. 최근 연구들은 언어 모델의 컨텍스트 윈도우(context window)를 엄격하게 제한하는 것이 인간의 작업 기억 제약을 시뮬레이션함으로써 인간 심리언어학 데이터에 대한 적합도를 향상시킨다고 제안합니다. 그러나 이러한 엄격한 기억 감쇠 접근 방식은 담화 구조(discourse structure)와 같은 장거리 구조적 표상에 대한 인간의 의존성을 간과할 가능성이 있습니다. 본 연구에서는 4개의 대규모 자연주의적 영어 읽기 시간 데이터셋 전반에 걸쳐 GPT-2의 컨텍스트 윈도우 크기를 체계적으로 변경하며 U자형 관계를 관찰했습니다. 제한된 문맥(< 20개 토큰)이 국소적 기억 한계를 성공적으로 포착하지만, 확장된 문맥(500~1,000개 토큰)이 궁극적으로 가장 높은 전반적 심리언어학 적합도를 산출합니다. 이러한 이점을 유도하는 메커니즘을 조사하기 위해, 반복되는 담화 개체를 대명사화하여 문장 간 개체 연쇄를 교란하는 반사실적 추론(inference) 시점 실험을 수행합니다. 이러한 구조적 연결성을 모호하게 만들면 더 큰 컨텍스트 윈도우의 예측력이 20%에서 40%까지 크게 저하됩니다. 본 실험은 장거리 상호참조(coreference) 관계를 추적하는 것이 언어 모델의 놀람도(surprisal)와 인간의 읽기 행동 간 정렬(alignment)을 위한 중요한 요인임을 입증하며, 언어 처리 과정에서 인간 이해자가 전역적 담화 관계를 활용하는 정도를 근사합니다.

arXiv:2607.21574v2cs.CL

서프라이즈 이론은 동어반복이다 (합리적 그라운딩이 없다면)

Surprisal Theory is Tautological (without Rational Grounding)

서프라이즈 이론(Surprisal theory)은 맥락 속 언어 단위에 대한 인간의 처리 난이도가 어떤 언어 모델(language model) 하에서 해당 단위가 갖는 서프라이즈(surprisal)의 아핀 함수(affine function)라고 주장한다. 본 논문은 추가적인 제약이 없다면 이러한 주장이 동어반복(tautology)에 불과하다고 논증한다. 완만한 기술적 조건 하에서, 맥락 속 단위에 대한 임의의 음이 아닌(non-negative) 난이도 척도에 대해 서프라이즈가 그 난이도의 아핀 함수가 되는 언어 모델이 항상 존재하기 때문이다. 따라서 어떠한 난이도 패턴도 특정 언어 모델과 일치할 수 있으므로, 언어 모델에 대한 추가적인 제약이 없다면 서프라이즈 이론은 반증 가능한 예측을 전혀 내놓지 못한다. 이러한 동어반복은 지난 20년간의 심리언어학 연구에 내재되어 있던 가정, 즉 관련 언어 모델이 학습(training) 말뭉치를 생성한 분포이며 말뭉치 적합도를 개선하면 인간 행동에 대한 예측도 개선된다는 가정에 의해 오랫동안 가려져 있었다. 그러나 최근의 실증 연구들은 더 나은 말뭉치 모델이 오히려 처리 난이도를 더 못 맞히는 예측 변수가 될 수 있음을 입증하며 이 가정을 흔들었다. 결론적으로 이러한 동어반복을 타파하기 위해서는 합리주의적 개입(rationalist intervention)이 필요하다. 즉, 관련 언어 모델은 이해자(comprehender)에 대한 비경험적으로 동기 부여된 모델(예컨대 기억 제약이나 처리 목표에 기반할 수 있으며, 따라서 서프라이즈 이론이 설명하고자 하는 행동 데이터에 의존하지 않는 모델)로부터 도출되어야 한다.

arXiv:2607.11703v1cs.CL

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

arXiv:2602.19598v2cs.CL

읽기 중 시선 추적: 오픈 라이브러리 지원을 갖춘 데이터셋의 리빙 서베이

Eye-Tracking-while-Reading: A Living Survey of Datasets with Open Library Support

읽기 중 시선 추적(eye-tracking-while-reading) 코퍼스는 다양한 학문 분야와 활용 사례에 걸쳐 귀중한 자원이다. 활용 사례는 읽기의 기저에 있는 인지 과정 연구부터, 독해 능력의 시선 기반 평가와 같은 머신러닝 응용에 이르기까지 다양하다. 지난 수십 년간 읽기 중 시선 추적 데이터셋의 수와 규모가 증가해 왔으며, 다루는 자극 언어, 참가자의 언어적 배경, 또는 동반되는 심리측정 및 인구통계 데이터 측면에서도 다양성이 높아졌다. 여러 학문 분야에 걸친 데이터의 분산과 커뮤니티 간 데이터 공유 표준의 부재로 인해, 상호운용성 부족 때문에 많은 기존 데이터셋을 쉽게 재사용할 수 없는 상황이다. 본 연구에서는 i) 기존 데이터셋과 그 특성에 대한 광범위한 개요를 제시하고, ii) 각 데이터셋의 55개 이상의 특성을 제공하는 리빙 개요(https://t.uzh.ch/1Yh)를 온라인에 게시하여 새로 생성된 데이터셋의 공유를 간소화하며, iii) 공개적으로 이용 가능한 모든 데이터셋을 시선 추적 데이터셋 라이브러리를 제공하는 파이썬 패키지 pymovements에 통합함으로써, 서로 다른 학문 분야에 걸친 기존 데이터셋과 그 특성에 대한 투명성과 명확성을 높이고자 한다. 이를 통해 읽기 중 시선 추적 연구에서 FAIR 원칙을 강화하고, 연구 재현 및 복제와 같은 바람직한 과학적 실천을 촉진하고자 한다.

arXiv:2511.14642v2cs.CL

Graded strength of comparative illusions is explained by Bayesian inference

Like visual processing, language processing is susceptible to illusions in which people systematically misperceive stimuli. In one such case--the comparative illusion (CI), e.g., More students have been to Russia than I have--comprehenders tend to judge the sentence as acceptable despite its underlying nonsensical comparison. Prior research has argued that this phenomenon can be explained as Bayesian inference over a noisy channel: the posterior probability of an interpretation of a sentence is proportional to both the prior probability of that interpretation and the likelihood of corruption into the observed (CI) sentence. Initial behavioral work has supported this claim by evaluating a narrow set of alternative interpretations of CI sentences and showing that comprehenders favor interpretations that are more likely to have been corrupted into the illusory sentence. In this study, we replicate and go substantially beyond this earlier work by directly predicting the strength of illusion with a quantitative model of the posterior probability of plausible interpretations, which we derive through a novel synthesis of statistical language models with human behavioral data. Our model explains not only the fine gradations in the strength of CI effects, but also a previously unexplained effect caused by pronominal vs. full noun phrase than-clause subjects. These findings support a noisy-channel theory of sentence comprehension by demonstrating that the theory makes novel predictions about the comparative illusion that bear out empirically. This outcome joins related evidence of noisy channel processing in both illusory and non-illusory contexts to support noisy channel inference as a unified computational-level theory of diverse language processing phenomena.

arXiv:2606.27206v1cs.CL

구문적 믿음 갱신이 정원길 처리 난이도의 동인

Syntactic Belief Update as the Driver of Garden Path Processing Difficulty

정원길 문장 처리 난이도는 어휘적 놀람도(surprisal)로는 잘 설명되지 않아, 구문 트리에 대한 확률 분포를 단어마다 갱신하고 그 변화량을 일반화된 Rényi divergence로 측정하는 구문적 믿음 갱신(Syntactic Belief Update)을 제안한다. 이 지표는 어휘 확률과 독립적이면서도 정원길 문장에서의 인간 읽기 시간 패턴을 더 잘 맞추며, 심리언어학에서 비어휘적 처리 난이도 척도를 탐구할 새 방향을 제시한다.