Navigating the Alignment-Calibration Trade-off: A Pareto-Superior Frontier via Model Merging
정렬(alignment) 사후학습이 정확도 저하뿐 아니라 모델 과신(overconfidence)을 유발하는 심각한 캘리브레이션(calibration) 손실을 초래함을 보이며, 사전학습 모델과 인스트럭션 튜닝 모델의 가중치를 보간(interpolate)하는 간단한 모델 병합(model merging)으로 이 문제를 효과적으로 완화할 수 있음을 제안한다. Gemma-3, Qwen2.5, Llama-3.1 등 다양한 모델 패밀리 실험에서 최적 병합 계수를 찾으면 두 부모 모델을 동시에 능가하는 정확도와 실질적으로 회복된 캘리브레이션을 갖는 Pareto-최적 모델이 일관되게 발견되었으며, 이 효과는 모델 규모가 커질수록 더욱 강화된다.