arXiv:2609.04484v1 cs.CL

생성에서의 점화 패턴: 언어 모델 생성에서의 어휘적, 의미적 및 구조적 정렬

Patterns of Priming in Production: Lexical, Semantic and Structural Alignment in Language Model Generation

Giulia Pucci, Ruizhe Li, Arabella Sinclair

제출 2026-09-03

한국어 초록

본 논문은 선행하는 구조적 문맥이 문장 완성에 어떠한 영향을 미치는지 조사하며, 언어 모델(LM) 생성에서의 구조적 점화(structural priming)를 탐구합니다. 이전 연구들이 구조적 교체(structural alternation)의 이해 과정에서 점화 효과를 입증해 온 반면, 생성 시 언어 모델이 각 단계마다 수많은 가능한 후속 토큰 중에서 샘플링하는 생성 과정에서도 이러한 효과가 지속되는지는 불분명했습니다. 저자들은 여격 구문(dative construction)에 대한 일련의 통제된 문장 완성 실험을 통해 이 질문을 다룹니다. 이전 연구와 일치하게, 언어 모델은 구조적 점화에 영향을 받기 쉬우며, 특히 의미적으로 일관된 문장에서 이러한 경향이 두드러짐을 확인했습니다. 점화의 크기 측면에서는, 역빈도 효과(inverse frequency effects)와 일치하게 기준선 대비 이중 목적어 여격 구문의 상대적 증가 폭이 더 컸던 반면, 더 자주 생성되는 구문인 전치사 목적어 구문에서는 더 큰 절대적 증가를 보였습니다. 마지막으로, 저자들은 어휘-의미적 일관성에 의해 구조적 점화가 강화될 뿐만 아니라, 구조적으로 점화된 완성문이 더 높은 수준의 어휘-의미적 반복을 나타냄을 관찰했습니다. 종합하자면, 본 연구의 증거는 언어 모델에서의 구조적 점화가 다차원의 언어적 표상 수준에 걸쳐 작동하며, 통사적, 어휘적, 의미적 정렬(alignment)을 촉진하고 이에 의해 촉진된다는 관점을 뒷받침합니다. 코드: https://github.com/the-context-lab/primedproduction.

원문 초록

This paper investigates structural priming in language model (LM) production, examining how preceding structural context influences sentence completion. While prior work has demonstrated priming effects in comprehension of structural alternations, it remained unclear whether these persist in production, where, when generating, an LM samples from many possible continuations at each step. We address this question through a series of controlled sentence-completion experiments on dative constructions. In line with prior work, we find that LMs are susceptible to structural priming, particularly in sentences that are semantically coherent. In terms of priming magnitude, we find that while there is a greater relative increase of double-object datives against our baselines, in line with inverse frequency effects, there is a larger absolute increase in prepositional-objects, the more frequently produced construction. Finally, we not only observe that structural priming is boosted by lexico-semantic coherence, but that structurally primed completions display greater levels of lexico-semantic repetition. Taken together, our evidence supports the view that structural priming in LMs operates across multiple levels of linguistic representation, facilitating, and facilitated by syntactic, lexical, and semantic alignment. Code: https://github.com/the-context-lab/primedproduction.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.04484v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.