온라인 모방 학습은 LLM 사후 학습에서 언제 도움이 되는가? 지평선을 넘어선 (비)실현가능성의 역할
When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon
온라인 모방 학습(IL)이 오프라인 지도 미세조정(SFT)보다 유리한 이유를 오차 누적이 아닌 비실현가능성(non-realizability)으로 규명하며, 학생 정책 클래스가 전문가 정책을 표현할 수 있는 실현가능한 설정에서는 오프라인 IL만으로도 전문가 수준에 도달함을 실험적으로 보인다. 반면 비실현가능(misspecified) 설정에서는 지평선 H=1인 경우에도 오프라인 IL이 정보-이론적 병목에 직면함을 증명하고, 보상과의 정렬 구조를 활용한 온라인 IL이 큰 분포 불일치에도 불구하고 높은 성능을 달성할 수 있음을 이론적으로 제시한다.