Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns
트랜스포머 언어 모델의 창발적(emergent) 다운스트림 능력은 학습 중 초기화에 따라 무작위 시점에 급격히 나타나며, 더 큰 모델일수록 평균적으로 더 일찍 획득한다. 패턴 완성·간접 목적어 식별 등은 과제 관련 희소 어텐션(attention) 패턴을 학습하는 순간과 대응하고, 합성 선형 사상·세포자동기 과제에서 컨텍스트 길이와 패턴 희소성이 학습 병목을 좌우하며 어텐션 헤드 수를 늘리면 효율이 개선됨을 보였다.