PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.17426v3cs.CL

Navigating the Alignment-Calibration Trade-off: A Pareto-Superior Frontier via Model Merging

정렬(alignment) 사후학습이 정확도 저하뿐 아니라 모델 과신(overconfidence)을 유발하는 심각한 캘리브레이션(calibration) 손실을 초래함을 보이며, 사전학습 모델과 인스트럭션 튜닝 모델의 가중치를 보간(interpolate)하는 간단한 모델 병합(model merging)으로 이 문제를 효과적으로 완화할 수 있음을 제안한다. Gemma-3, Qwen2.5, Llama-3.1 등 다양한 모델 패밀리 실험에서 최적 병합 계수를 찾으면 두 부모 모델을 동시에 능가하는 정확도와 실질적으로 회복된 캘리브레이션을 갖는 Pareto-최적 모델이 일관되게 발견되었으며, 이 효과는 모델 규모가 커질수록 더욱 강화된다.

arXiv:2606.21906v1cs.CL

더 깊을수록 항상 나은 것은 아니다: Confident Layer Decoding을 통한 정렬 비용(alignment tax) 완화

Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding

LLM의 최종 층 디코딩이 추론-정렬(alignment) 트레이드오프로 정제된 예측을 일반적·정렬 선호 토큰으로 교란할 수 있음을 보이고, 엔트로피 기반 역방향 탐색으로 신뢰도가 가장 높은 최종 근접 층을 동적으로 선택하는 학습 없는 Confident Decoding을 제안한다. dense·MoE 모델에서 GPQA-Diamond, Omni-MATH, HLE 등 어려운 추론 벤치마크 성능을 메모리 오버헤드 없이 지연 2% 미만으로 일관되게 향상시킨다.