세계 모델 없는 세계 속성: 분포적 연관성과 언어 모델의 디코딩 결과 해석
World Properties without World Models: Distributional Associations and the Interpretation of Decoding Results from Language Models
대규모 언어 모델(LLM)의 활성화(activation)로부터 변수들을 선형적으로 디코딩할 수 있음을 보여주는 연구가 점점 늘어나고 있습니다. 이러한 변수는 도시의 위치나 역사적 인물의 생애와 같은 세계의 속성부터 감정과 고통에 이르기까지 다양합니다. 이러한 발견은 종종 언어 모델이 표면적인 텍스트 통계를 넘어 세계에 대한 내부 모델을 형성한다는 증거로 받아들여집니다. 본 연구에서는 동일하거나 대응되는 자극에 대한 정적 단어 임베딩(말뭉치 통계로부터 학습된 고정적이고 문맥에 무관한 표현) 역시 동일한 디코딩의 상당 부분을 지원함을 보입니다. 발표된 4가지 사례(장소, 시간, 고통, 감정) 전반에서 정적 벡터는 좌표와 사망 연도를 예측하고(R^2 = 0.42-0.59), 대응되는 대조군 문장에서 고통을 분리하며(홀드아웃 AUC 0.85-0.88), 해당 감정을 직접 언급하지 않도록 작성된 이야기에서 12가지 감정을 분류합니다(AUC 0.84-0.88). 정적 임베딩은 각 단어에 문맥 독립적인 단일 벡터를 할당하므로, 이러한 결과는 단어 연관성만으로 지원할 수 있는 하한선에 해당합니다. LLM은 표현력 테스트에서 분명한 우위를 유지하며, 인과적 및 행동적 발견은 여전히 기준선의 범위를 벗어납니다. 원저자들의 엔티티에 대해 Llama-2 결과를 재현한 실험에서, 트랜스포머의 우위는 주로 역사적 인물을 올바른 세기에 배치하고 장소를 올바른 국가에 배치하는 등 더 풍부한 단어 연관성을 통해 향상될 것으로 기대되는 대략적인 분류에 있었습니다. 해당 그룹 내에서는 모든 표현이 항목들을 제대로 순서화하지 못했습니다. 이름의 단어가 아닌 특정 장소나 인물의 연관성을 담고 있는 모호성이 해소된 위키백과 엔티티에 대한 정적 벡터는 좌표에서는 Pythia-2.8B와 일치하고 사망 연도에서는 Llama-2-7B와 일치하며 남은 격차의 대부분을 좁힙니다. 이러한 결과는 디코딩 가능성만으로는 속성에 대한 표현과 고정된 분포적 연관성에서 이미 얻을 수 있는 정보를 구별할 수 없음을 나타냅니다.