Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning
문맥 내 학습(ICL)에서 function-vector(FV) 헤드는 인과 기여 크기만으로는 단일 기능군처럼 보이지만, 부호를 보존한 refined direct logit attribution과 path patching 검증에 따르면 규칙 정답 logit을 올리는 writers와 내리는 cancellers 두 대립 집단으로 갈라진다. 이 분할은 3개 아키텍처·6개 Pythia 규모 등 15개 (모델·과제) 셀 대부분에서 인과적으로 재현되며, 크기 기반 순위는 한쪽을 놓쳐 촉진·억제 메커니즘을 평균화하고 cancellers 제거만으로 정답 logit +0.13~+0.29 nats·정확도 +2~+7pp 개선을 낸다.