규칙은 상각되지만 쌍 관계는 그렇지 않다: 어떤 잠재 작업 표현이 문맥 내 학습을 대체할 수 있는지를 결정하는 언어적 구조
Rules Amortize, Pairings Don't: Linguistic Structure Determines What Latent Task Representations Can Replace In-Context Learning
한국어 초록
문맥 내 학습(ICL)은 제로샷(zero-shot) 추론 비용으로 퓨샷(few-shot) 동작을 복원하는 잠재 객체(태스크 벡터, 함수 벡터, 컨텍스트 벡터)로 상각(amortize)될 수 있지만, 최근 이론에 따르면 정적 벡터는 단일 합성 예시처럼 작동하므로 단어 수준의 전단사(bijection)와 같은 고계수(high-rank) 매핑에서는 실패할 수밖에 없습니다. 본 연구에서는 이에 대해 언어학적 관점의 질문을 던집니다. 즉, 어떤 언어적 연산이 프롬프트에서 벗어나 상각될 수 있을까요? 저자들은 퓨샷 서포트 세트의 기하학적 구조(한 번 계산되어 캐시되는 중심점, 주 부분공간, 스펙트럼)를 읽고, 동결된 GPT-2-large/XL의 중간 심도 층에서 쿼리의 잔차 스트림(residual stream)에 입력 조건부 가산 업데이트를 생성하는 2.6M 매개변수 네트워크를 학습합니다. 방향 간의 역전된 쌍 누출을 차단하는 표준 분할 하에서 8개의 굴절 방향과 1개의 어휘 관계에 걸쳐 세 가지 양상이 나타납니다. 10-샷 ICL 성능이 강력하고(0.67~0.89) 추출된 태스크 벡터가 붕괴하는(0.06 이하) 순방향 굴절에서, 제안하는 변환은 엄격한 쿼리당 제로샷 비용으로 ICL과 대등한 성능을 보입니다. 동결된 GPT-2가 실행할 수 있지만 10개의 예시로는 체계적으로 전달하지 못하는 원형 복원(lemmatization) 방향(1.5B에서 ICL 0.13~0.48)에서, 이 변환은 ICL에 전혀 제한되지 않고 0.78~0.92에 도달하여 ICL 대비 최대 +72포인트(과거형에서 현재형: 0.85 대 0.13) 높은 성능을 달성합니다. 임의의 쌍 관계(반의어)에서는 테스트된 모든 스케일, 용량 및 시드에서 모든 상각 모델의 성능이 ICL의 절반 수준에 머뭅니다. 대조 실험에 따르면 서포트 다양체(support manifold)는 인과적으로 필수적인 태스크 지문 역할을 합니다. 잘못된 태스크 다양체는 정확도를 0.06 이하로 급락시키며, 쿼리 전용 변형 모델은 입력 공간을 공유하는 태스크를 명확히 구분하지 못하고, 태스크 하나를 제외한 전이(leave-one-task-out transfer)는 0을 기록합니다. 생산적인 규칙은 잠재 태스크 표현으로 상각되며 때로는 프롬프팅이 전달할 수 있는 것보다 더 뛰어나지만, 암기된 쌍 관계는 그렇지 않습니다.
원문 초록
In-context learning (ICL) can be amortized into latent objects (task vectors, function vectors, context vectors) that recover few-shot behavior at zero-shot inference cost, but recent theory shows a static vector acts as a single synthetic demonstration and must fail on high-rank mappings such as word-level bijections. We ask a linguistic version of this question: which linguistic operations can be amortized out of the prompt? We train a 2.6M-parameter network that reads the geometry of a few-shot support set (centroid, principal subspace, spectrum, computed once and cached) and produces an input-conditioned additive update to the query's residual stream at a mid-depth layer of a frozen GPT-2-large/XL. Across eight inflectional directions and one lexical relation, under a canonical split that bars inverted-pair leakage between directions, three regimes emerge. On forward inflection, where 10-shot ICL is strong (0.67-0.89) and extracted task vectors collapse (<=0.06), the transform matches ICL at strictly zero-shot per-query cost. On lemmatization directions, which frozen GPT-2 can execute but 10 demonstrations systematically fail to convey (ICL 0.13-0.48 at 1.5B), the transform is not capped by ICL at all: it reaches 0.78-0.92, up to +72 points over ICL (past to present: 0.85 vs. 0.13). On arbitrary pairings (antonymy) every amortizer plateaus near half of ICL at every scale, capacity, and seed tested. Controls show the support manifold acts as a causally necessary task fingerprint: wrong-task manifolds collapse accuracy to <=0.06, query-only variants cannot disambiguate tasks sharing an input space, and leave-one-task-out transfer is zero. Productive rules amortize into latent task representations, sometimes better than prompting can convey them; memorized pairings do not.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to the NeurIPS 2026 Workshop on Linguistic Principles for Foundation Models (LP4FM). 5 pages