PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32119v2cs.CL

문장 이해 중 문맥과 상호참조의 효과를 모델링하기 위한 언어 모델 활용

Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension

언어 모델(LM)은 인간의 언어 처리를 모델링하는 도구로 자주 활용됩니다. 최근 연구들은 언어 모델의 컨텍스트 윈도우(context window)를 엄격하게 제한하는 것이 인간의 작업 기억 제약을 시뮬레이션함으로써 인간 심리언어학 데이터에 대한 적합도를 향상시킨다고 제안합니다. 그러나 이러한 엄격한 기억 감쇠 접근 방식은 담화 구조(discourse structure)와 같은 장거리 구조적 표상에 대한 인간의 의존성을 간과할 가능성이 있습니다. 본 연구에서는 4개의 대규모 자연주의적 영어 읽기 시간 데이터셋 전반에 걸쳐 GPT-2의 컨텍스트 윈도우 크기를 체계적으로 변경하며 U자형 관계를 관찰했습니다. 제한된 문맥(< 20개 토큰)이 국소적 기억 한계를 성공적으로 포착하지만, 확장된 문맥(500~1,000개 토큰)이 궁극적으로 가장 높은 전반적 심리언어학 적합도를 산출합니다. 이러한 이점을 유도하는 메커니즘을 조사하기 위해, 반복되는 담화 개체를 대명사화하여 문장 간 개체 연쇄를 교란하는 반사실적 추론(inference) 시점 실험을 수행합니다. 이러한 구조적 연결성을 모호하게 만들면 더 큰 컨텍스트 윈도우의 예측력이 20%에서 40%까지 크게 저하됩니다. 본 실험은 장거리 상호참조(coreference) 관계를 추적하는 것이 언어 모델의 놀람도(surprisal)와 인간의 읽기 행동 간 정렬(alignment)을 위한 중요한 요인임을 입증하며, 언어 처리 과정에서 인간 이해자가 전역적 담화 관계를 활용하는 정도를 근사합니다.

arXiv:2606.27206v1cs.CL

구문적 믿음 갱신이 정원길 처리 난이도의 동인

Syntactic Belief Update as the Driver of Garden Path Processing Difficulty

정원길 문장 처리 난이도는 어휘적 놀람도(surprisal)로는 잘 설명되지 않아, 구문 트리에 대한 확률 분포를 단어마다 갱신하고 그 변화량을 일반화된 Rényi divergence로 측정하는 구문적 믿음 갱신(Syntactic Belief Update)을 제안한다. 이 지표는 어휘 확률과 독립적이면서도 정원길 문장에서의 인간 읽기 시간 패턴을 더 잘 맞추며, 심리언어학에서 비어휘적 처리 난이도 척도를 탐구할 새 방향을 제시한다.

arXiv:2606.21203v1cs.CL

컨텍스트가 오도할 때: 대규모 언어 모델에서 일관성 착시의 지표로서 서프라이절, 에너지, 어텐션 엔트로피

When Context Misleads: Surprisal, Energy and Attention Entropy as Metrics of Coherence Illusions in LLMs

심리언어학 연구는 인간 독자가 일관성 착시(coherence illusion)에 빠진다는 것을 보여준다. 즉, 선행 문맥의 방해자(distractor)가 다음에 이어질 내용과 일치하면 비일관적 담화가 일관적으로 보일 수 있다. 우리는 네덜란드어 언어 모델(단일 언어 6개, 다국어 4개)이 'again', 'too'와 같은 단어로 이전 문맥을 참조하는 텍스트에서 동일한 행동을 보이는지 조사한다. 첫째, 핵심 단어에서의 서프라이절(surprisal)이 인간의 수용 가능성 판단과 아이트래킹(eye-tracking) 데이터를 추적함을 확인한다. 모델은 비일관적 연속에 더 높은 서프라이절을 보이지만, 선행 문맥의 일치하는 방해자는 이 서프라이절을 감소시킨다. 둘째, 핵심 위치에서의 어텐션 엔트로피는 일관성과 비일관성 조건에서 다르게 동작하는 헤드를 식별한다. 이러한 헤드를 제거(ablation)하면 실험 간 전이 효과가 나타나며, 공유된 메커니즘을 시사한다. 셋째, 우리는 연합 기억(associative memory) 문헌의 에너지(energy)를 담화 일관성을 정량화하는 지표로 도입한다. 종합하면, 우리의 결과는 네덜란드어 LLM에서도 일관성 착시가 발생하며, 엔트로피와 에너지가 여러 설정에서 작동하는 메커니즘을 드러냄을 보여준다.