인과적 언어 모델과 마스킹 언어 모델을 아우르는 문맥 내 학습의 통합 프레임워크
A Unified Framework for In-Context Learning with Causal and Masked Language Models
자기회귀 목적 함수(autoregressive objective)에 주로 집중되어 온 문맥 내 학습(ICL) 이론을 마스킹 언어 모델(masked language model)까지 확장하기 위해, 본 연구는 문맥 예시를 경험적 측도로 표현하는 통합 통계적 학습 프레임워크를 제안하고 Wasserstein 조건 하에서 두 사전학습 목적 함수에 대한 동일 차수의 초과 위험(excess risk) 상한을 도출한다. 함수 학습 실험에서 Masked Pair Encoder(MPE)가 GPT-2 계열 인과적 트랜스포머에 필적하는 성능을 달성함으로써, ICL 능력이 인과적 언어 모델에만 국한되지 않음을 이론적·실험적으로 뒷받침한다.