arXiv:2403.11834

Towards Understanding the Relationship between In-context Learning and Compositional Generalization

Sungjun Han, Sebastian Padó

제출 2024-03-18

원문 초록

According to the principle of compositional generalization, the meaning of a complex expression can be understood as a function of the meaning of its parts and of how they are combined. This principle is crucial for human language processing and also, arguably, for NLP models in the face of out-of-distribution data. However, many neural network models, including Transformers, have been shown to struggle with compositional generalization. In this paper, we hypothesize that forcing models to in-context learn can provide an inductive bias to promote compositional generalization. To test this hypothesis, we train a causal Transformer in a setting that renders ordinary learning very difficult: we present it with different orderings of the training instance and shuffle instance labels. This corresponds to training the model on all possible few-shot learning problems attainable from the dataset. The model can solve the task, however, by utilizing earlier examples to generalize to later ones (i.e. in-context learning). In evaluations on the datasets, SCAN, COGS, and GeoQuery, models trained in this manner indeed show improved compositional generalization. This indicates the usefulness of in-context learning problems as an inductive bias for generalization.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04926v2cs.LG공통 태그 Few-Shot Learning, Inductive Bias, In-Context Learning

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2610.15836v1cs.CL공통 태그 Inductive Bias, In-Context Learning

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

arXiv:2610.13660v1cs.LG공통 태그 Few-Shot Learning, Inductive Bias

ARC를 위한 사전학습과 테스트 시점 학습 예산의 중요성: VARC와 TRM에 대한 통제 연구

Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM

추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)는 신경망이 적은 수의 시연(demonstration)으로부터 과제별 변환을 추론할 수 있는지를 평가하는 데 점점 더 많이 사용되고 있다. 최근의 ARC 모델들은 아키텍처뿐만 아니라 사전학습 데이터, 데이터 증강, 테스트 시점 설정, 최적화 예산을 포함한 더 넓은 학습 및 평가 프로토콜에서도 차이를 보이며, 이로 인해 아키텍처의 이점에 대한 결론이 논쟁의 여지가 있다. 본 연구에서는 ARC-AGI-1에 대한 공통된 귀납적 프로토콜 하에서, 비전에서 영감을 받은 VARC 모델과 재귀 기반 TRM 모델의 성능이 사전학습 및 테스트 시점 학습(test-time training, TTT) 예산에 의해 어떻게 영향을 받는지를 연구한다. 각 테스트 과제에 대해 다섯 가지 사전학습 예산과 네 가지 TTT 예산을 교차시킨다. 각 예산은 과제 변형 수와 총 샘플 제시 횟수를 지정하며, 이를 통해 통제된 학습 예산을 정의한다. TTT 샘플 제시 횟수를 늘리면 두 모델 모두에서 모든 설정에서 표준 ARC pass@2 지표가 향상되는 것을 관찰하였다. TTT 과제 변형 수를 늘리는 것은 TRM에만 일관되게 도움이 되는 반면, VARC는 변형 수가 더 적을 때 더 좋은 성능을 보이는 경우가 많다. 또한 VARC는 사전학습 없이도 경쟁력을 유지하는 반면, TRM은 사전학습으로부터 훨씬 더 많은 이점을 얻는다. 이러한 결과는 사전학습과 TTT 예산이 ARC 평가에 영향을 미친다는 것을 보여주며, 비교 가능한 예산 수준에서 결과를 보고할 필요성을 제기한다.

arXiv:2610.10832v1cs.LG공통 태그 Inductive Bias, In-Context Learning

MotherTree: 합성 데이터에 대한 메타러닝으로 의사결정나무 학습 개선하기

MotherTree: Meta-learning on synthetic data improves decision tree training

기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.

arXiv:2609.28245v1cs.CL공통 태그 Few-Shot Learning, In-Context Learning

시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?

Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?

대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.

arXiv:2609.28250v1cs.CL공통 태그 Few-Shot Learning, In-Context Learning

퓨샷 학습에서 활성화 메모리와 파라미터 메모리의 상호보완적 역할

Complementary Roles of Activation and Parametric Memory in Few-Shot Learning

테스트 시점에 대규모 언어 모델(LLM)은 과거 정보를 활성화 메모리(activation memory, 즉 KV 캐시)와 파라미터 메모리(parametric memory, 즉 갱신된 파라미터)에 인코딩할 수 있다. 일반적으로 활성화 메모리는 사실 상기(factual recall)에, 파라미터 메모리는 새로운 태스크 학습에 효과적이라고 여겨지지만, 두 메모리 간의 상호작용은 아직 명확하지 않다. 본 연구에서는 통제된 실험을 통해 퓨샷 학습에서 메모리의 역할을 체계적으로 조사한다. 그 결과, 사실을 상기하는 데에는 활성화 메모리가 더 우수한 반면, 태스크 학습에서는 파라미터 메모리가 활성화 메모리보다 일관되게 더 나은 성능을 보이지는 않음을 확인했다. 또한 실험 결과, 복합 태스크인 조건부 산술(Conditional Arithmetic)을 해결하려면 두 메모리 유형의 시너지가 필요하다. 뉴런 수준 분석을 통해, 모델이 동일한 과거 정보에 활성화 메모리로 접근할 때와 파라미터 메모리로 접근할 때 서로 다른 뉴런 집합을 활성화함을 발견했다. 두 메모리 유형을 결합하면 모델은 두 집합의 뉴런을 모두 동원하며, 이는 조건부 산술을 해결하는 데 결정적이다. 이러한 발견은 이 복합 태스크에서 어느 한 메모리 메커니즘만으로는 충분하지 않음을 시사하며, 두 메모리의 협력이 중요함을 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.