PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28524v1cs.CL

트랜스포머 언어 모델에서의 상황 모델링과 정신화의 발달 궤적

Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models

최근 연구에 따르면, 대규모 언어 모델(LLM)은 거짓 믿음 과제(FBT)로 측정했을 때 텍스트에 묘사된 에이전트의 믿음 상태에 민감하게 반응하지만, 구인 타당도(construct validity)에 대한 우려가 지속되고 있다. 본 연구는 **발달적 관점**을 채택하여, Olmo2와 Pythia 언어 모델 제품군의 여러 학습 단계에 걸쳐 정신 상태 추론 행동의 패턴과 이 행동의 **전제 조건**을 추적한다. 우리는 우연 수준 이상의 FBT 성능이 모델 크기와 충분한 학습량 모두에 의존하고, 사전 학습의 비교적 후반부에 출현하며, 정신화(mentalizing)를 가장 잘 진단하는 조건(False Belief, Implicit)에서 사후 학습 개입(SFT, DPO)에 의해 가장 크게 향상됨을 발견한다. 그러나 FBT 성능은 취약하다: 기존 연구와 일관되게, 비사실적 동사(예: thinks)의 사용은 True Belief 조건에서조차 거짓 믿음 귀인을 증가시킨다. 이러한 결과를 맥락화하기 위해, 우리는 **상황 모델링**, 즉 묘사된 장면의 기본적인 사실적 속성을 보고하는 능력의 출현을 추적한다. 상황 모델링 정확도는 일반적으로 FBT 정확도에 선행하며 이를 능가하지만, 상황적 표상 또한 특정 측면에서 놀랍도록 비일관적임이 드러난다: 사물의 실제 위치를 항상 알고 있는 적대자(Antagonist) 에이전트의 지식 상태에 대해 질문받을 때, Olmo2 13b는 대상(Target) 에이전트의 지식 상태와 비사실적 동사의 존재 모두에 지속적으로 영향을 받는다. 이러한 결과들을 종합하면, 충분히 학습된 대형 모델들이 발달적으로 적절한 순서로 부분적으로 일관된 상황 모델을 구축하지만 놀라운 취약성을 보임을 시사하며—이는 LLM 능력 평가를 위한 발달적 접근법과 스트레스 테스트 접근법의 가치를 부각시킨다.