내재화를 통한 학습
Learning through Internalization
우리는 신경망 기반 시스템이 명시적 계산 절차를 자체 가중치에 흡수하는 내재화(internalization) 과정과, 이것이 학습을 어떻게 촉진하는지 연구한다. 구체적으로, 트랜스포머가 사고의 연쇄(CoT) 토큰을 내재화함으로써 반자동자(semiautomata) 시뮬레이션을 내재화하는 방식, 어떤 종류의 반자동자가 내재화하기 더 어려운지를 조사하고, 내재화의 이면—즉 분포 외(out-of-distribution) 성능의 점진적 저하—을 드러낸다. 이어서 성공적인 내재화에 대한 최초의 증명 가능한 분석을 제시한다: 패리티(parity) 학습 과제에서, 단순화된 단층 트랜스포머가 명시적 CoT 지도 하에 목표를 먼저 학습한 뒤, CoT 토큰이 점진적으로 제거됨에 따라 자기회귀적 생성을 내재화하여 패리티를 직접 계산하도록 학습함을 증명 가능하게 보인다. 이 과제는 CoT 지도 없이 데이터만으로는 계산적으로 학습하기 어렵다. 마지막으로, 내재화를 통한 학습이 \citet{Med+26}이 최근 도입한 \textit{긍정적 분포 이동(Positive Distribution Shift)} 현상과 어떻게 관련되는지 논의한다.