arXiv:2505.15443

AdUE: Improving uncertainty estimation head for LoRA adapters in LLMs

Artem Zabolotnyi, Roman Makarov, Mile Mitrovic, Polina Proskura, Oleg Travkin, Roman Alferov, Alexey Zaytsev

제출 2025-05-21

원문 초록

Uncertainty estimation remains a critical challenge in adapting pre-trained language models to classification tasks, particularly under parameter-efficient fine-tuning approaches such as adapters. We introduce AdUE1, an efficient post-hoc uncertainty estimation (UE) method, to enhance softmax-based estimates. Our approach (1) uses a differentiable approximation of the maximum function and (2) applies additional regularization through L2-SP, anchoring the fine-tuned head weights and regularizing the model. Evaluations on five NLP classification datasets across four language models (RoBERTa, ELECTRA, LLaMA-2, Qwen) demonstrate that our method consistently outperforms established baselines such as Mahalanobis distance and softmax response. Our approach is lightweight (no base-model changes) and produces better-calibrated confidence.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.22764v3cs.CL공통 태그 parameter-efficient fine-tuning공식 코드 · Papers with Code

마스크 미세조정을 통한 대규모 언어 모델 성능 향상

Boosting Large Language Models with Mask Fine-Tuning

대규모 언어 모델(LLM)은 일반적으로 주류 최적화 프로토콜에 통합됩니다. 그러나 모델의 무결성을 유지하는 것이 유의미한 성능을 위해 \textit{필수적}인지는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 가중치를 업데이트하지 않고도 모델의 구조적 무결성을 정교하게 깨뜨림으로써 놀랍게도 성능을 향상시킬 수 있음을 입증하는 새로운 LLM 미세조정 패러다임인 마스크 미세조정(Mask Fine-Tuning, MFT)을 소개합니다. MFT는 표준 LLM 미세조정 목적 함수를 감독 신호로 사용하여, 잘 최적화된 모델에 적용할 이진 마스크를 학습하고 적용합니다. 완전히 미세조정된 모델을 기반으로, MFT는 동일한 미세조정 데이터셋을 활용하여 여러 도메인 및 백본 전반에서 일관된 성능 향상을 달성합니다(예: LLaMA2-7B/3.1-8B 기반 IFEval에서 평균 2.70/4.15 향상). 상세한 절제 연구(ablation study) 및 분석을 통해 희소 비율(sparse ratio)과 손실 표면(loss surface)을 포함한 다양한 관점에서 제안된 MFT를 검토합니다. 또한 잘 훈련된 모델에 적용할 경우, MFT는 다른 LLM 최적화 절차와도 호환되어 전반적인 모델 성능을 향상시킵니다. 나아가 본 연구는 모델 압축을 위한 네트워크 가지치기에서의 전통적 용도를 넘어 마스킹 연산을 확장하여 더 광범위한 모델 역량을 아우르도록 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.