arXiv:2609.32119v2 cs.CL

문장 이해 중 문맥과 상호참조의 효과를 모델링하기 위한 언어 모델 활용

Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension

Kohei Kajikawa, Lin Ai, Tatsuki Kuribayashi, Ethan Gotlieb Wilcox

제출 2026-09-26

저자 비고

arXiv Comments

EMNLP 2026

한국어 초록

언어 모델(LM)은 인간의 언어 처리를 모델링하는 도구로 자주 활용됩니다. 최근 연구들은 언어 모델의 컨텍스트 윈도우(context window)를 엄격하게 제한하는 것이 인간의 작업 기억 제약을 시뮬레이션함으로써 인간 심리언어학 데이터에 대한 적합도를 향상시킨다고 제안합니다. 그러나 이러한 엄격한 기억 감쇠 접근 방식은 담화 구조(discourse structure)와 같은 장거리 구조적 표상에 대한 인간의 의존성을 간과할 가능성이 있습니다. 본 연구에서는 4개의 대규모 자연주의적 영어 읽기 시간 데이터셋 전반에 걸쳐 GPT-2의 컨텍스트 윈도우 크기를 체계적으로 변경하며 U자형 관계를 관찰했습니다. 제한된 문맥(< 20개 토큰)이 국소적 기억 한계를 성공적으로 포착하지만, 확장된 문맥(500~1,000개 토큰)이 궁극적으로 가장 높은 전반적 심리언어학 적합도를 산출합니다. 이러한 이점을 유도하는 메커니즘을 조사하기 위해, 반복되는 담화 개체를 대명사화하여 문장 간 개체 연쇄를 교란하는 반사실적 추론(inference) 시점 실험을 수행합니다. 이러한 구조적 연결성을 모호하게 만들면 더 큰 컨텍스트 윈도우의 예측력이 20%에서 40%까지 크게 저하됩니다. 본 실험은 장거리 상호참조(coreference) 관계를 추적하는 것이 언어 모델의 놀람도(surprisal)와 인간의 읽기 행동 간 정렬(alignment)을 위한 중요한 요인임을 입증하며, 언어 처리 과정에서 인간 이해자가 전역적 담화 관계를 활용하는 정도를 근사합니다.

원문 초록

Language models (LMs) are often used as a tool to model human language processing. Recent studies suggest that severely restricting LMs' context window improves their fit to human psycholinguistic data by simulating human working memory constraints. However, it is possible that this strict memory-decay approach overlooks humans' reliance on long-range structural representations, such as discourse structre. In this work, we systematically vary the context window size of GPT-2 across four large-scale naturalistic English reading-time datasets and observe a U-shaped relationship: Although restricted contexts (< 20 tokens) successfully capture local memory limitations, expanded contexts (500--1,000 tokens) ultimately yield the highest overall psycholinguistic fit. To investigate the mechanism driving this benefit, we conduct a counterfactual inference-time experiment that disrupts cross-sentential entity chains by pronominalizing repeated discourse entities. Obscuring these structural linkages significantly degrades the predictive power of larger context windows by 20% to 40%. Our experiments demonstrate that tracking long-range coreference relations is one important factor for the alignment between LM surprisal and human reading behavior, and approximate the extent to which human comprehenders use global discourse relations during language processing.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.32119v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21574v2cs.CL공통 태그 Language Modeling, psycholinguistics

서프라이즈 이론은 동어반복이다 (합리적 그라운딩이 없다면)

Surprisal Theory is Tautological (without Rational Grounding)

서프라이즈 이론(Surprisal theory)은 맥락 속 언어 단위에 대한 인간의 처리 난이도가 어떤 언어 모델(language model) 하에서 해당 단위가 갖는 서프라이즈(surprisal)의 아핀 함수(affine function)라고 주장한다. 본 논문은 추가적인 제약이 없다면 이러한 주장이 동어반복(tautology)에 불과하다고 논증한다. 완만한 기술적 조건 하에서, 맥락 속 단위에 대한 임의의 음이 아닌(non-negative) 난이도 척도에 대해 서프라이즈가 그 난이도의 아핀 함수가 되는 언어 모델이 항상 존재하기 때문이다. 따라서 어떠한 난이도 패턴도 특정 언어 모델과 일치할 수 있으므로, 언어 모델에 대한 추가적인 제약이 없다면 서프라이즈 이론은 반증 가능한 예측을 전혀 내놓지 못한다. 이러한 동어반복은 지난 20년간의 심리언어학 연구에 내재되어 있던 가정, 즉 관련 언어 모델이 학습(training) 말뭉치를 생성한 분포이며 말뭉치 적합도를 개선하면 인간 행동에 대한 예측도 개선된다는 가정에 의해 오랫동안 가려져 있었다. 그러나 최근의 실증 연구들은 더 나은 말뭉치 모델이 오히려 처리 난이도를 더 못 맞히는 예측 변수가 될 수 있음을 입증하며 이 가정을 흔들었다. 결론적으로 이러한 동어반복을 타파하기 위해서는 합리주의적 개입(rationalist intervention)이 필요하다. 즉, 관련 언어 모델은 이해자(comprehender)에 대한 비경험적으로 동기 부여된 모델(예컨대 기억 제약이나 처리 목표에 기반할 수 있으며, 따라서 서프라이즈 이론이 설명하고자 하는 행동 데이터에 의존하지 않는 모델)로부터 도출되어야 한다.

arXiv:2607.11703v1cs.CL공통 태그 Language Modeling, psycholinguistics

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

arXiv:2609.14743v3cs.CL공통 태그 Language Modeling

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

arXiv:2606.29858v3cs.CL공통 태그 Language Modeling

매끄러운 스케일링 법칙이 단계적 토큰 학습을 감추다

Smooth Scaling Laws Hide Stepwise Token Learning

언어 모델 손실은 모델 및 데이터 크기에 걸쳐 놀라울 정도로 규칙적인 스케일링 법칙을 따르지만, 집계 손실이 왜 거듭제곱 법칙 형태를 나타내는지는 여전히 불분명하다. 기존의 설명들은 이 규칙성을 자연어에서 패턴 난이도의 중꼬리(heavy-tailed) 스펙트럼에 귀인하는 경우가 많지만, 이 견해는 대규모 실제 데이터 학습에서 토큰 수준의 세밀도로 직접 검증된 바 없다. 우리는 스케일링 법칙을 개별 문맥화된 토큰의 국소적 학습 이벤트로 분해하는 토큰 수준 프레임워크를 제시한다. 토큰 손실 궤적을 시그모이드로 피팅함으로써, 토큰 학습이 국소적 전환에 집중되어 있음을 보이며, 이로부터 스케일링 법칙의 형태를 지배하는 학습 시간 스펙트럼이 도출됨을 확인한다. 현대적인 대규모 언어 모델(LLM) 아키텍처를 사용하여 크고 다양한 실제 언어 코퍼스에서 100회 이상의 사전학습 실행에 걸쳐—최대 60억 개의 파라미터와 3,000억 개의 학습 토큰으로 스케일업—측정된 학습 시간 스펙트럼은 학습 스텝 $T$, 데이터 스케일 $D$, 모델 스케일 $M$ 축을 따른 검증 손실 도함수를 정량적으로 재구성한다. 나아가 동일한 신호가 실행 가능함을 보인다. 토큰이 학습 가능해지는 시점에 따라 학습 분포를 재구성함으로써 최적화 궤적을 변경하고, 검증 손실 감소를 11% 가속화한다. 이러한 결과들은 스케일링 법칙이 주로 토큰 수준 학습 시간의 분포에 의해 지배된다는 직접적인 경험적 증거를 제공하며, 이 분포가 스케일링 동작을 설명하는 데 그치지 않고 학습 성능을 향상시키는 데에도 활용될 수 있음을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.