규칙은 상각되지만 쌍 관계는 그렇지 않다: 어떤 잠재 작업 표현이 문맥 내 학습을 대체할 수 있는지를 결정하는 언어적 구조
Rules Amortize, Pairings Don't: Linguistic Structure Determines What Latent Task Representations Can Replace In-Context Learning
문맥 내 학습(ICL)은 제로샷(zero-shot) 추론 비용으로 퓨샷(few-shot) 동작을 복원하는 잠재 객체(태스크 벡터, 함수 벡터, 컨텍스트 벡터)로 상각(amortize)될 수 있지만, 최근 이론에 따르면 정적 벡터는 단일 합성 예시처럼 작동하므로 단어 수준의 전단사(bijection)와 같은 고계수(high-rank) 매핑에서는 실패할 수밖에 없습니다. 본 연구에서는 이에 대해 언어학적 관점의 질문을 던집니다. 즉, 어떤 언어적 연산이 프롬프트에서 벗어나 상각될 수 있을까요? 저자들은 퓨샷 서포트 세트의 기하학적 구조(한 번 계산되어 캐시되는 중심점, 주 부분공간, 스펙트럼)를 읽고, 동결된 GPT-2-large/XL의 중간 심도 층에서 쿼리의 잔차 스트림(residual stream)에 입력 조건부 가산 업데이트를 생성하는 2.6M 매개변수 네트워크를 학습합니다. 방향 간의 역전된 쌍 누출을 차단하는 표준 분할 하에서 8개의 굴절 방향과 1개의 어휘 관계에 걸쳐 세 가지 양상이 나타납니다. 10-샷 ICL 성능이 강력하고(0.67~0.89) 추출된 태스크 벡터가 붕괴하는(0.06 이하) 순방향 굴절에서, 제안하는 변환은 엄격한 쿼리당 제로샷 비용으로 ICL과 대등한 성능을 보입니다. 동결된 GPT-2가 실행할 수 있지만 10개의 예시로는 체계적으로 전달하지 못하는 원형 복원(lemmatization) 방향(1.5B에서 ICL 0.13~0.48)에서, 이 변환은 ICL에 전혀 제한되지 않고 0.78~0.92에 도달하여 ICL 대비 최대 +72포인트(과거형에서 현재형: 0.85 대 0.13) 높은 성능을 달성합니다. 임의의 쌍 관계(반의어)에서는 테스트된 모든 스케일, 용량 및 시드에서 모든 상각 모델의 성능이 ICL의 절반 수준에 머뭅니다. 대조 실험에 따르면 서포트 다양체(support manifold)는 인과적으로 필수적인 태스크 지문 역할을 합니다. 잘못된 태스크 다양체는 정확도를 0.06 이하로 급락시키며, 쿼리 전용 변형 모델은 입력 공간을 공유하는 태스크를 명확히 구분하지 못하고, 태스크 하나를 제외한 전이(leave-one-task-out transfer)는 0을 기록합니다. 생산적인 규칙은 잠재 태스크 표현으로 상각되며 때로는 프롬프팅이 전달할 수 있는 것보다 더 뛰어나지만, 암기된 쌍 관계는 그렇지 않습니다.