arXiv:2610.01054v2 cs.CL

태스크 연산자를 통한 문맥 내 학습 동역학 포착

Capturing In-Context Learning Dynamics with Task Operators

Guangzhi Xiong, Zhenghao He, Bohan Liu, Sanchit Sinha, Wenqian Ye, Aidong Zhang

제출 2026-10-01

한국어 초록

문맥 내 학습(ICL)은 가중치 업데이트 없이 시연(demonstration)만으로 언어 모델이 새로운 태스크를 수행할 수 있도록 지원합니다. 그러나 모든 ICL 추론은 예시 전체 세트를 처리해야 하므로 배포 시 비효율성을 초래하며, ICL이 기계론적으로 어떻게 작동하는지도 완전히 이해되지 않았습니다. 선행 연구는 특정 레이어나 위치에서 추출된 고정된 활성화 벡터로 ICL을 압축하지만, 이러한 입력 독립적 개입은 출력이 입력과의 미세한 상호작용에 의존하는 복잡한 태스크에서는 실패합니다. 본 연구는 ICL의 순전파를 분석하여, 각 어텐션 헤드의 출력이 문맥이 마스킹된 대응물의 아핀 변환(affine transformation)이며, 주어진 태스크에 대해 이 변환의 매개변수가 샘플 전반에 걸쳐 경험적으로 안정적임을 보여줍니다. 이를 바탕으로, 본 논문은 이 변환을 어텐션 출력 프로젝션에 대한 해석적으로 유도된 업데이트로 재현하는 태스크 연산자(Task Operator, TO)를 제안합니다. TO는 어휘, 알고리즘, 추론 태스크 전반에 걸쳐 기존 방법 중 최고의 종합 성능을 달성하며 제로샷(zero-shot) 추론과 ICL 간의 격차를 크게 좁힙니다. 또한 추출된 지식이 레이어와 위치에 걸친 태스크별 희소 회로(sparse circuit)에 집중된다는 점과, 서로 겹치지 않는 시연 배치들의 연산자를 평균화하면 컨텍스트 윈도우를 확장하지 않고도 효과적인 매니샷(many-shot) 스케일링이 가능함을 입증합니다. 본 연구의 코드는 https://github.com/gzxiong/task_operator 에서 확인할 수 있습니다.

원문 초록

In-context learning (ICL) enables language models to perform new tasks from demonstrations without weight updates. However, every ICL inference requires processing the full set of examples, resulting in inefficient deployments, and how ICL works mechanistically is not fully understood. Prior work compresses ICL into fixed activation vectors extracted from specific layers or positions, but these input-independent interventions fail on complex tasks where the output depends on fine-grained interactions with the input. By analyzing the ICL forward pass, we show that each attention head's output is an affine transformation of its context-masked counterpart, and that the parameters of this transformation are empirically stable across samples for a given task. Building on this, we introduce Task Operator (TO), which replays this transformation as an analytically derived update to the attention output projection. Across lexical, algorithmic, and reasoning tasks, TO achieves the best overall performance among prior methods and substantially narrows the gap between zero-shot inference and ICL. We further show that the extracted knowledge concentrates in a task-specific sparse circuit across layers and positions, and that averaging operators from disjoint demonstration batches enables effective many-shot scaling without expanding the context window. Our code is available at https://github.com/gzxiong/task_operator.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01054v2제출 시각 미확인
  2. arXiv:2610.01054v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.