PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07560v2cs.CL

Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

문맥 내 학습(ICL)에서 function-vector(FV) 헤드는 인과 기여 크기만으로는 단일 기능군처럼 보이지만, 부호를 보존한 refined direct logit attribution과 path patching 검증에 따르면 규칙 정답 logit을 올리는 writers와 내리는 cancellers 두 대립 집단으로 갈라진다. 이 분할은 3개 아키텍처·6개 Pythia 규모 등 15개 (모델·과제) 셀 대부분에서 인과적으로 재현되며, 크기 기반 순위는 한쪽을 놓쳐 촉진·억제 메커니즘을 평균화하고 cancellers 제거만으로 정답 logit +0.13~+0.29 nats·정확도 +2~+7pp 개선을 낸다.

arXiv:2604.19678v2cs.CL

Exploring Language-Agnosticity in Function Vectors: A Case Study in Machine Translation

문맥 내 학습(ICL) 중 모델 활성화에서 추출한 기능 벡터(FV)가 다국어 번역에서도 언어 불변성을 갖는지를 세 가지 디코더 전용 다국어 LLM으로 검증하며, 영→X 한 방향에서 추출한 번역 FV가 보지 못한 목표 언어에서도 정답 번역 토큰의 순위를 일관되게 개선한다. 이득이 큰 토큰은 여러 언어에 걸치고 번역 방향별 상위 어텐션 헤드가 대부분 겹쳐, FV가 특정 언어쌍 매핑이 아니라 대체로 언어에 구애받지 않는 번역 신호를 인코딩함을 보여준다.