arXiv:2606.27206v1 cs.CL

구문적 믿음 갱신이 정원길 처리 난이도의 동인

Syntactic Belief Update as the Driver of Garden Path Processing Difficulty

Alan Zhou, Miloš Stanojević, John T. Hale

제출 2026-06-25

한국어 초록

정원길 문장은 인간에게 처리 난이도를 제기한다. 문장 접두 문맥은 청자를 한 가지 해석으로 이끌다가, 청자가 초기 해석이 틀렸음을 드러내는 핵심 단어를 듣게 될 때까지 그렇게 된다. 어휘적 놀람도(surprisal)는 통상 문장 처리 난이도를 꽤 잘 예측하는 척도이지만, 정원길 문장에 대해서는 좋은 예측을 제공하지 못한다. 우리는 구문 트리에 대한 확률 분포(구문적 믿음)를 능동적으로 예측하고, 각 새 단어 이후에 그 분포를 갱신하는 대안을 제안한다. 처리기가 정원길로 이끌리면 구문적 믿음은 틀리게 되며, 핵심 단어에서 큰 갱신이 필요해진다. 갱신의 크기는 일반화된 Rényi divergence로 측정된다. 중요한 점은, 이 지표가 어휘 항목에 의존하지만 어휘 항목의 확률과는 완전히 독립적이라는 것이다. 이 구문적 믿음 갱신(Syntactic Belief Update)은 정원길 문장에 대한 인간의 읽기 시간 데이터에 더 잘 맞는다. 이는 심리언어학에서 놀람도에 대한 순수하게 비어휘적 대안을 탐구하는 새로운 연구 방향을 시사한다.

원문 초록

Garden path sentences present a processing difficulty for humans -- the sentence prefix leads the listener towards one interpretation, until the listener hears a critical word that shows that the initial interpretation was wrong. Lexical surprisal, a measure that usually predicts sentence processing difficulty quite well, fails to provide good predictions for garden path sentences. We propose an alternative that actively predicts a probability distribution over syntactic trees (its syntactic belief) and updates that distribution after each new word. If a processor is led down a garden path, syntactic beliefs will be wrong and will require a large update at the critical word. The magnitude of the update is measured with a generalized Rényi divergence. Crucially, this metric is dependent on lexical items, but is fully independent of the probability of lexical items. This Syntactic Belief Update provides a better fit to the human reading time data on garden path sentences. This suggests a new research direction examining purely non-lexical alternatives to surprisal for psycholinguistics.

요약

정원길 문장 처리 난이도는 어휘적 놀람도(surprisal)로는 잘 설명되지 않아, 구문 트리에 대한 확률 분포를 단어마다 갱신하고 그 변화량을 일반화된 Rényi divergence로 측정하는 구문적 믿음 갱신(Syntactic Belief Update)을 제안한다. 이 지표는 어휘 확률과 독립적이면서도 정원길 문장에서의 인간 읽기 시간 패턴을 더 잘 맞추며, 심리언어학에서 비어휘적 처리 난이도 척도를 탐구할 새 방향을 제시한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27206v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.32119v2cs.CL공통 태그 surprisal, psycholinguistics

문장 이해 중 문맥과 상호참조의 효과를 모델링하기 위한 언어 모델 활용

Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension

언어 모델(LM)은 인간의 언어 처리를 모델링하는 도구로 자주 활용됩니다. 최근 연구들은 언어 모델의 컨텍스트 윈도우(context window)를 엄격하게 제한하는 것이 인간의 작업 기억 제약을 시뮬레이션함으로써 인간 심리언어학 데이터에 대한 적합도를 향상시킨다고 제안합니다. 그러나 이러한 엄격한 기억 감쇠 접근 방식은 담화 구조(discourse structure)와 같은 장거리 구조적 표상에 대한 인간의 의존성을 간과할 가능성이 있습니다. 본 연구에서는 4개의 대규모 자연주의적 영어 읽기 시간 데이터셋 전반에 걸쳐 GPT-2의 컨텍스트 윈도우 크기를 체계적으로 변경하며 U자형 관계를 관찰했습니다. 제한된 문맥(< 20개 토큰)이 국소적 기억 한계를 성공적으로 포착하지만, 확장된 문맥(500~1,000개 토큰)이 궁극적으로 가장 높은 전반적 심리언어학 적합도를 산출합니다. 이러한 이점을 유도하는 메커니즘을 조사하기 위해, 반복되는 담화 개체를 대명사화하여 문장 간 개체 연쇄를 교란하는 반사실적 추론(inference) 시점 실험을 수행합니다. 이러한 구조적 연결성을 모호하게 만들면 더 큰 컨텍스트 윈도우의 예측력이 20%에서 40%까지 크게 저하됩니다. 본 실험은 장거리 상호참조(coreference) 관계를 추적하는 것이 언어 모델의 놀람도(surprisal)와 인간의 읽기 행동 간 정렬(alignment)을 위한 중요한 요인임을 입증하며, 언어 처리 과정에서 인간 이해자가 전역적 담화 관계를 활용하는 정도를 근사합니다.

arXiv:2607.21574v2cs.CL공통 태그 Natural Language Understanding, psycholinguistics

서프라이즈 이론은 동어반복이다 (합리적 그라운딩이 없다면)

Surprisal Theory is Tautological (without Rational Grounding)

서프라이즈 이론(Surprisal theory)은 맥락 속 언어 단위에 대한 인간의 처리 난이도가 어떤 언어 모델(language model) 하에서 해당 단위가 갖는 서프라이즈(surprisal)의 아핀 함수(affine function)라고 주장한다. 본 논문은 추가적인 제약이 없다면 이러한 주장이 동어반복(tautology)에 불과하다고 논증한다. 완만한 기술적 조건 하에서, 맥락 속 단위에 대한 임의의 음이 아닌(non-negative) 난이도 척도에 대해 서프라이즈가 그 난이도의 아핀 함수가 되는 언어 모델이 항상 존재하기 때문이다. 따라서 어떠한 난이도 패턴도 특정 언어 모델과 일치할 수 있으므로, 언어 모델에 대한 추가적인 제약이 없다면 서프라이즈 이론은 반증 가능한 예측을 전혀 내놓지 못한다. 이러한 동어반복은 지난 20년간의 심리언어학 연구에 내재되어 있던 가정, 즉 관련 언어 모델이 학습(training) 말뭉치를 생성한 분포이며 말뭉치 적합도를 개선하면 인간 행동에 대한 예측도 개선된다는 가정에 의해 오랫동안 가려져 있었다. 그러나 최근의 실증 연구들은 더 나은 말뭉치 모델이 오히려 처리 난이도를 더 못 맞히는 예측 변수가 될 수 있음을 입증하며 이 가정을 흔들었다. 결론적으로 이러한 동어반복을 타파하기 위해서는 합리주의적 개입(rationalist intervention)이 필요하다. 즉, 관련 언어 모델은 이해자(comprehender)에 대한 비경험적으로 동기 부여된 모델(예컨대 기억 제약이나 처리 목표에 기반할 수 있으며, 따라서 서프라이즈 이론이 설명하고자 하는 행동 데이터에 의존하지 않는 모델)로부터 도출되어야 한다.

arXiv:2607.14100v1cs.CL공통 태그 Sentence, Natural Language Understanding

아랍어를 위한 양자 조합 자연어 처리: 회로 토폴로지의 문법, 형태론, 단어 의미

Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology

우리는 pregroup grammar 기반 양자 조합 자연어 처리(quantum compositional natural language processing, QNLP)를 아랍어에 최초로 적용한다. 아랍어는 형태론적으로 풍부하고 자유 어순(free-word-order) 언어로, 그 구조적 복잡성이 양자 회로에서의 의미 조합 이론에 대한 독특하게 까다로운 시험대를 제공한다. 우리 시스템은 아랍어 문장을 문법적 구조를 반영하는 토폴로지의 양자 회로로 변환한다. 주어, 동사, 목적어는 양자 게이트가 되며, 이들 사이의 타입 의존성(pregroup grammar)이 해당 게이트들이 어떻게 연결되는지를 결정한다. 우리는 어순, 형태론적 시제, 동사 의미 모호성 해소를 아우르는 세 가지 통제 실험을 수행하고, AraVec(아랍어 단어 임베딩) 및 AraBERT(사전학습된 아랍어 트랜스포머)를 포함한 고전적 베이스라인과 양자 회로 방법을 비교한다.

arXiv:2602.19598v2cs.CL공통 태그 Reading Comprehension, psycholinguistics

읽기 중 시선 추적: 오픈 라이브러리 지원을 갖춘 데이터셋의 리빙 서베이

Eye-Tracking-while-Reading: A Living Survey of Datasets with Open Library Support

읽기 중 시선 추적(eye-tracking-while-reading) 코퍼스는 다양한 학문 분야와 활용 사례에 걸쳐 귀중한 자원이다. 활용 사례는 읽기의 기저에 있는 인지 과정 연구부터, 독해 능력의 시선 기반 평가와 같은 머신러닝 응용에 이르기까지 다양하다. 지난 수십 년간 읽기 중 시선 추적 데이터셋의 수와 규모가 증가해 왔으며, 다루는 자극 언어, 참가자의 언어적 배경, 또는 동반되는 심리측정 및 인구통계 데이터 측면에서도 다양성이 높아졌다. 여러 학문 분야에 걸친 데이터의 분산과 커뮤니티 간 데이터 공유 표준의 부재로 인해, 상호운용성 부족 때문에 많은 기존 데이터셋을 쉽게 재사용할 수 없는 상황이다. 본 연구에서는 i) 기존 데이터셋과 그 특성에 대한 광범위한 개요를 제시하고, ii) 각 데이터셋의 55개 이상의 특성을 제공하는 리빙 개요(https://t.uzh.ch/1Yh)를 온라인에 게시하여 새로 생성된 데이터셋의 공유를 간소화하며, iii) 공개적으로 이용 가능한 모든 데이터셋을 시선 추적 데이터셋 라이브러리를 제공하는 파이썬 패키지 pymovements에 통합함으로써, 서로 다른 학문 분야에 걸친 기존 데이터셋과 그 특성에 대한 투명성과 명확성을 높이고자 한다. 이를 통해 읽기 중 시선 추적 연구에서 FAIR 원칙을 강화하고, 연구 재현 및 복제와 같은 바람직한 과학적 실천을 촉진하고자 한다.

arXiv:2607.04107v2cs.CL공통 태그 Natural Language Understanding, Reading Comprehension

자연스러운 읽기 중 N400 및 P600 역학을 형성하는 의미 통합과 어휘 기대

Contextual Semantic Relevance and Word Surprisal Predict N400 and P600 Dynamics During Naturalistic Reading

단어 놀라움(word surprisal)은 언어 이해 중 인간의 신경 반응을 예측하는 잘 확립된 계산적 지표이지만, 자연스러운 읽기 상황에서 어휘 기대를 넘어 국소적 의미 적합성이 신경 반응 변이를 설명하는지는 아직 명확하지 않다. 본 연구는 Dublin EEG 기반 읽기 실험 코퍼스(DERCo)를 활용하여, 맥락적 의미 관련성이 N400 및 P600 구간의 단어 잠금 EEG 활동을 예측하는지 검토하였다. 맥락적 의미 관련성은 목표 단어가 최근 담화 맥락과 의미적으로 얼마나 강하게 연결되어 있는지를 어텐션 인식 측정치로 산출하였으며, GPT 기반 단어 놀라움과 비교되었다. 22명의 참가자와 32개의 EEG 채널에 걸쳐, 어휘 변수와 반복 관측을 통제하면서 회귀 기반 ERP 분석 및 일반화 가법 혼합 모델을 사용하여 두 예측 변수를 검증하였다. 두 예측 변수 모두 EEG 반응과 신뢰할 수 있는 연관성을 보였으나, 시간적·두피 수준 패턴에서 부분적으로 상이한 양상을 나타냈다. 놀라움은 기대 관련 변이를 포착한 반면, 맥락적 의미 관련성은 N400 및 P600 구간 평균 전압 전반에 걸쳐 강건한 효과를 보였으며, 특히 P600 구간에서 설명력이 두드러졌다. 모델 비교 결과, 맥락적 의미 관련성은 어휘 통제 변수와 놀라움을 넘어서는 추가적인 설명력을 제공하는 것으로 나타났다. 이러한 결과는 자연스러운 읽기가 어휘 기대와 국소적 의미 통합 모두에 의존하며, 맥락적 의미 관련성이 담화 의미 적합성과 ERP 역학 사이의 해석 가능한 계산적 연결고리를 제공함을 시사한다.

arXiv:2607.05052v1cs.CL공통 태그 Sentence, Natural Language Understanding

독립 레이블을 넘어서: 인간 가치 탐지를 위한 슈바르츠 기하학적 디코딩

Beyond Independent Labels: Schwartz-Geometry Decoding for Human Value Detection

인간 가치 탐지는 일반적으로 19개의 정제된 슈바르츠 가치에 대한 문장 수준의 다중 레이블 분류(multi-label classification)로 공식화되며, 각 레이블은 독립적으로 예측된다. 그러나 슈바르츠 이론은 이 가치들을 원형의 동기적 연속체(circular motivational continuum)로 설명하며, 인접한 가치는 서로 양립 가능하고 대립하는 가치는 긴장 관계에 있다. 우리는 이 구조를 명시적인 출력 공간 기하학(output-space geometry)으로 구체화하여 하드 제약(hard constraint)이 아닌 소프트 바이어스로 활용할 수 있는지를 탐구한다. DeBERTa-v3-base 분류기를 대상으로, 이를 주입하는 두 가지 방법을 비교한다: 학습 시 기하학 인식 목적 함수(geometry-aware objectives)와 전체 레이블 집합을 공동으로 점수화하는 사후(post-hoc) 슈바르츠 인식 에너지 디코더(Schwartz-aware energy decoder). 5개의 시드에 걸쳐, 학습 시 기하학은 제한적인 성능 향상만을 보이며—진정한 연속체에 대해서도 무작위 순서 대비 더 크지 않은 수준이었다—반면 디코더는 우리가 새롭게 제안하는 이론 인식 일관성 지표에서 레이블 집합을 연속체에 더 일관되게 만들며, 선택 규칙에 의해 Macro-F1 및 Micro-F1은 유지된다. 이 성능 향상은 진정한 슈바르츠 순서에 특정적이며, 동일한 디코더를 통한 무작위 순열이나 경험적 공동 출현 그래프에서는 나타나지 않는다. 제한된 Qwen2.5-72B-Instruct 진단 실험은 추론 시 연속체를 제공하면 동작이 변하지만 지도 학습 기반 구조적 예측에는 미치지 못함을 보여준다. 따라서 이론 인식 디코딩은 가치 탐지를 해당 레이블 공간에 충실하게 만드는 경량의 제어 가능한 방법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.