온라인 정책 자가 증류(OPSD)의 최근 발전은 대규모 언어 모델(LLM)이 수작업 주석이나 외부 환경 피드백과 같은 외부 특권 정보(PI)를 활용하여 역량을 향상할 수 있음을 보여주었다. 그러나 정확한 주석을 확보하고 정교한 환경을 구축하는 데는 상당한 인적 노력과 연산이 요구되는 경우가 많아 OPSD의 확장성을 제한한다. 최근 몇몇 연구에서 외부 PI 없는 자가 개선을 탐색했으나 그에 따른 이득은 여전히 제한적이다. 본 연구에서는 LLM이 외부 PI 없이도 이에 필적하는 자가 개선을 달성할 수 있는지 탐구한다. 우리의 핵심 관찰은 단일 LLM이 심층 사고(deep-thinking) 모드 및 비사고(non-thinking) 모드와 같은 여러 추론(reasoning) 모드를 지원할 수 있으며, 심층 사고는 추론 과정에서 추가 정보를 생성한다는 점이다. 이러한 관찰을 바탕으로 우리는 LLM이 자체적인 사고의 연쇄(Chain-of-Thought, CoT)에서 생성된 정보를 증류하고 내재화할 수 있도록 하는 자가 진화형 온라인 정책 증류(SeOPD)를 제안한다. 구체적으로 SeOPD는 (1) 심층 사고 모드로 CoT를 생성하고, (2) 비사고 모드로 응답을 생성하며, (3) 생성된 CoT를 PI로 활용하여 비사고 응답에 토큰 수준의 감독을 제공함으로써, 추론 중 도출된 새로운 정보가 비사고 모드를 안내하고 공유된 모델 파라미터로 내재화되도록 하여 비사고 및 심층 사고 역량을 모두 향상시킨다. 다양한 LLM과 과제에 걸친 광범위한 실험은 SeOPD의 효과를 입증한다.
SRRL(Self-Review Reinforcement Learning)은 강화학습 에피소드마다 명시적 자기 검토 단계를 삽입하여, 첫 번째 응답 실패 시 모델이 오류 원인을 분석한 뒤 개선된 두 번째 응답을 생성하도록 하는 학습 프레임워크다. 자기 검토를 정책 그래디언트로 최적화하고 선택적 지식 증류로 기본 정책에 내재화하며, 크로스-에피소드 메모리로 성공적인 검토를 재사용함으로써, GSM8K 벤치마크에서 Qwen 3-4B와 OLMo-3-7B 모두 표준 RLVR 대비 일관되게 높은 보상 성능과 학습 효율을 달성했다.
온-정책 증류(OPD)의 불안정한 최적화 문제를 해결하기 위해, TOP-D는 교사 정책과 학생 정책의 확률 분포를 보간하여 근접 교사(proximal teacher)를 동적으로 구성함으로써 그래디언트 분산을 이론적으로 제어하는 안정적인 지식 증류(distillation) 패러다임을 제안한다. AIME24 벤치마크에서 표준 OPD 대비 avg@32 정확도를 25.84% 절대적으로 향상시키면서도 추가적인 계산 오버헤드 없이 플러그 앤 플레이 방식으로 적용 가능하다.
온-정책 자기 증류(OPSD)에서 발생하는 특권 정보 누출(privileged information leakage) 문제를 해결하기 위해, DemoPSD는 교사-학생 분포 간 불일치(disagreement)를 측정하여 각 토큰 위치에서 역방향-KL 중심점 타깃(reverse-KL barycenter target)으로 혼합 비율을 적응적으로 조절하는 새로운 자기 증류 프레임워크를 제안한다. SciKnowEval 4개 과학 분야 실험에서 DemoPSD는 GRPO와 SDPO를 능가하면서 35–97% 높은 학습 엔트로피를 유지하고, 분포 외 벤치마크 GPQA에서도 강건한 일반화 성능을 보였다.
온라인 모방 학습(IL)이 오프라인 지도 미세조정(SFT)보다 유리한 이유를 오차 누적이 아닌 비실현가능성(non-realizability)으로 규명하며, 학생 정책 클래스가 전문가 정책을 표현할 수 있는 실현가능한 설정에서는 오프라인 IL만으로도 전문가 수준에 도달함을 실험적으로 보인다. 반면 비실현가능(misspecified) 설정에서는 지평선 H=1인 경우에도 오프라인 IL이 정보-이론적 병목에 직면함을 증명하고, 보상과의 정렬 구조를 활용한 온라인 IL이 큰 분포 불일치에도 불구하고 높은 성능을 달성할 수 있음을 이론적으로 제시한다.