PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.13566v2cs.LG

일관성 최적화로서의 자기 개선: 이론적 설명

Self-Improvement as Coherence Optimization: A Theoretical Account

언어 모델은 외부의 지도 없이도 정확도를 향상시킬 수 있을까요? 토론(debate), 부트스트랩(bootstrap), 내부 일관성 최대화(internal coherence maximization)와 같은 방법들은 골든 파인튜닝(golden finetuning) 성능에 필적하기까지 하며 이러한 놀라운 성과를 달성합니다. 그러나 이들이 왜 작동하는지는 이론적으로 여전히 불분명합니다. 본 논문에서는 이러한 방법들이 모두 가장 압축 가능하고 공동으로 예측 가능한 문맥-행동 매핑(context-to-behavior mapping)을 탐색하는 '일관성 최적화(coherence optimization)'로 이해될 수 있음을 보입니다. 이때 토론은 그 정확한 사례이며, 부트스트랩과 내부 일관성 최대화는 이와 밀접한 관련이 있습니다. 또한 일관성 최적화가 기술 길이 정규화(description-length regularization)와 동등함을 증명하며, 이러한 모든 정규화 방식 중 사전학습된 모델에서 도출된 사전 확률(prior)을 사용하는 일관성 정규화가 준지도 학습(semi-supervised learning)의 최악 조건 정확도(worst-case accuracy) 하한을 최적화함을 증명합니다. 예비 실험을 통해 뒷받침되는 본 이론은 피드백 없는 자기 개선(feedback-free self-improvement)이 왜 작동하는지 설명하고, 이것이 언제 성공하거나 실패할지 예측합니다.