PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21090v1cs.AI

자기 개선은 자기 퇴화를 일으킬 수 있다: LLM 자기 학습의 상승-붕괴 실패 모드

Self-Improvement Can Self-Regress: The Rise-and-Collapse Failure Mode of LLM Self-Training

자기 개선은 자기 퇴화를 일으킬 수 있다. 코드에 대한 REINFORCE 사후 학습에서 모델은 최적화된 지표에서 빠르게 개선된 뒤 동일한 학습 캠페인 내에서 붕괴할 수 있다. 우리는 Qwen-2.5-3B와 Qwen-2.5-7B를 사용한 통제된 다중 시드 테스트베드에서 이를 연구한다. 이 모델들은 이진 CodeGrader 보상을 사용해 경쟁 프로그래밍 과제로 학습되었으며, 10개의 순차적 20단계 캠페인을 거쳤다. 캠페인 전반에 걸쳐 pass@1은 견고한 상승 후 붕괴 패턴을 보인다. 수십 그래디언트 스텝 내에 정점에 도달한 뒤 다시 하락하며, 때로는 거의 0에 가깝게 떨어진다. 이는 태스크 간 치명적 망각(catastrophic forgetting)이 아니라 고정된 분포에 대한 태스크 내 정책 과최적화(over-optimization)이다. KL 및 EWC 스타일 제약은 이를 막지 못한다. 우리는 제어 루프가 어디에 위치해야 하는지 묻는다. 세 가지 수준을 비교한다. CARE는 역량 사후분포(capability posterior), 전이 게이트(transfer gate), 회귀 인식 믿음 수정(regression-aware belief revision)을 갖춘 캠페인 간 메모리 메커니즘이다. ES는 정점 체크포인트를 앞으로 롤포워드하고 다음 예산을 peak_step+3으로 설정하는 캠페인 내 조기 중단 규칙이다. GRPO는 그룹 상대 보상 정규화를 사용해 RL 업데이트를 변경한다. 답은 체제에 따라 다르다. naive REINFORCE가 취약한 Qwen-2.5-3B에서 CARE v2는 체인 종료 시점 pass@1을 4.9%에서 9.5%로 거의 두 배로 끌어올린다. paired bootstrap 95% CI는 [+0.4,+8.9]이며 5개 시드 중 4개에서 향상을 보인다. Qwen-2.5-7B에서는 CARE가 naive REINFORCE와 동등 수준(13.8% 대 11.8%)에 도달하는 반면, ES는 22.2% [14.1,28.0]에 도달한다. 즉시 사용 가능한(out-of-the-box) GRPO는 20.7% [15.7,25.1]에 도달하여 REINFORCE+ES와 거의 맞선다. GRPO는 하한을 높이지만 절벽(cliff)을 제거하지는 않는다. 7B에서의 GRPO 이득은 주로 더 나은 캠페인 간 이월(carryover)에서 비롯되며, REINFORCE와 GRPO 모두에서 캠페인 내 정점-종료 간격은 약 17포인트로 남아 있다. GRPO+ES는 엇갈린 증거를 보인다. 3개 시드 중 2개는 개선되지만, 하나의 최종 절벽이 평균을 17.0% [0.0,28.1]로 낮춘다. Gemma-3-4B 파일럿도 동일한 특징을 보여, 이 현상이 Qwen에 한정되지 않음을 시사한다.