토큰 영향력이 거리에 따라 감쇠하는 방식: 학습된 언어 모델의 그린 함수적 관점
How Token Influence Decays with Distance: A Green-Function View of Trained Language Models
학습된 자기회귀 트랜스포머 언어 모델에서 토큰 간 영향력이 거리에 따라 어떻게 감쇠하는지를 그린 함수(Green's function) 관점에서 분석하며, autograd로 야코비안 감도를 측정한 결과 Pythia와 Qwen2.5-0.5B 모두에서 지수 감쇠가 아닌 멱함수적 감쇠($\overline{G}(r) \approx \gamma + \beta(r+1)^{-p}$, $p \approx 0.8$–$0.9$)를 따름을 실증적으로 보였다. 이 장거리 감도 프로파일은 토큰 셔플링 후에도 유지되지만 무작위 초기화 모델에서는 나타나지 않아, 해당 특성이 학습을 통해 획득됨을 시사한다.