PRAXIS: 기호 아카이브를 활용한 자기개선 모델의 학습 동역학
PRAXIS: Learning Dynamics of Self-Improving Models with Symbolic Archives
자기개선 학습 시스템(self-improving learning systems)은 데이터 선택, 최적화, 보조 기호 구성요소를 적응시키며, 표준 학습 가정을 벗어난 비정상(nonstationary) 목적함수를 유발한다. 우리는 생성자(generator), 학습자(learner), 기호 아카이브(symbolic archive)를 상호작용하는 동역학적 프로세스로 모델링하는 공진화(co-evolutionary) 프레임워크인 PRAXIS를 소개한다. 우리는 KL 제약을 받는 생성자 업데이트와 통제된 아카이브 가중치 이동이 1단계 목적함수 드리프트(drift)를 제한함을 증명하고, 아카이브 업데이트가 서브가우시안(sub-Gaussian) 잡음 하에서 지속적인 누적 유틸리티 우위를 갖는 임의의 고정 비교 대상(comparator)에 대해 프로그램을 억제함을 증명하며, 확률적 경사하강법이 누적 목적함수 드리프트에 의해 성능 저하가 좌우되는 평균 정상성(average-stationarity) 보장을 달성함을 증명한다. 시각적 강건성(visual robustness), 관계형 그래프 추론(relational graph reasoning), 알고리즘적 그래프 추론(algorithmic graph reasoning)에 대한 실험은 이러한 이론적 메커니즘과 일치하는 생성자 안정화, 감소하는 학습자 손실, 아카이브 집중(archive concentration) 현상을 보인다.