PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21906v1cs.CL

더 깊을수록 항상 나은 것은 아니다: Confident Layer Decoding을 통한 정렬 비용(alignment tax) 완화

Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding

LLM의 최종 층 디코딩이 추론-정렬(alignment) 트레이드오프로 정제된 예측을 일반적·정렬 선호 토큰으로 교란할 수 있음을 보이고, 엔트로피 기반 역방향 탐색으로 신뢰도가 가장 높은 최종 근접 층을 동적으로 선택하는 학습 없는 Confident Decoding을 제안한다. dense·MoE 모델에서 GPQA-Diamond, Omni-MATH, HLE 등 어려운 추론 벤치마크 성능을 메모리 오버헤드 없이 지연 2% 미만으로 일관되게 향상시킨다.