PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21089v1cs.AI

반복적 사후 학습은 자기 개선이 아니다: 지속적 DPO 파이프라인에서의 과학적 기억상실 진단

Repeated post-training is not Self-improving: Diagnosing Scientific Amnesia in Continual DPO Pipelines

산업용 LLM 팀은 종종 관련 선호 데이터(preference-data) 캠페인의 연속 시퀀스에 대해 베이스 모델을 반복적으로 DPO 학습하여 행동 업데이트를 배포한다. 이 체제에서 지배적인 실패 양상은 항상 고전적인 파국적 망각(catastrophic forgetting)은 아니다. 파이프라인은 이전에 학습한 행동을 보존하면서도, 다음 캠페인을 학습하는 방법에 대한 재사용 가능한 방법론적 지식을 축적하지 못할 수 있다. 우리는 이 실패 양상을 과학적 기억상실(scientific amnesia)이라 부른다. 본 논문은 실무자의 그 직관을 측정 가능한 산업적 문제로 전환한다. 우리는 다음을 기여한다: (i) 기억상실을 위한 진단 스위트, (ii) Qwen2.5-7B-Instruct 실행에 걸쳐 FSDP-sharded DPO 체크포인트를 연결하는 Program 기반 파이프라인, (iii) 30캠페인 HumanEval 서브도메인 벤치마크, (iv) 다섯 가지 전략 제안자(strategy proposer)에 대한 비교 진단 연구: 무작위 메모리(random memory), 규칙 기반 스케줄링(rule-based scheduling), 검색 전용 메모리(retrieval-only memory), 웜스타트 베이지안 최적화(warm-start Bayesian optimization), 그리고 메타과학적 메모리 및 추론 후보인 MSCL. 단일 시드(single-seed) 5조건 × 3단계 실제 LM 체인에서, MSCL을 포함한 5개 후보 중 4개는 단계 수준 최고 pass@1에서 저하되며, 의도적으로 보수적인 규칙 기반 스케줄만 개선된다. 후속 파일럿은 이 발견을 뒤집기보다는 한정한다. 이질적(heterogeneous) 체인에서는 MSCL만이 완료된 후보 중 개선을 보였고, 소규모 다중 시드 동질(homogeneous) 스윕에서는 검색 전용(retrieval-only)이 최고의 평균 Delta를 갖으며 후보 간 쌍별(pairwise) 격차는 통계적으로 구별되지 않는다. 따라서 기여는 MSCL이 문제를 해결한다는 주장이 아닌 진단적 것이다. 과학적 기억상실은 프로덕션 유사 지속적 DPO 파이프라인에서 관찰 가능하며, 개입에 관한 결론은 체인 체제, 평가자 설계, 시드 커버리지에 크게 좌우된다.