언어 모델 불확실성을 위한 의미적 자기 증류
Semantic Self-Distillation for Language Model Uncertainty
대규모 언어 모델(LLM)은 원칙적인 불확실성 정량화에 어려움을 제기하며, 이는 부분적으로 모델의 복잡성과 출력의 다양성 때문이다. 의미적 분산(semantic dispersion), 즉 샘플링된 답의 의미 분산은 모델 불확실성의 유용한 대리 지표로 제안되어 왔지만, 관련 계산 비용 때문에 지연 시간에 민감한 애플리케이션에서는 사용이 어렵다. 우리는 샘플링된 의미 분포를 경량 학생 모델에 증류(distillation)할 수 있음을 보이며, 이 학생 모델은 언어 모델이 답변 토큰을 생성하기 전에 프롬프트 조건부 밀도를 추정한다. 학생 모델은 가능한 답에 대한 의미 분포를 예측하고, 이 분포의 엔트로피는 프롬프트 수준의 불확실성 신호를 제공하며, 확률 밀도는 답변 수준의 신뢰성 평가를 가능하게 한다. TriviaQA와 MMLU 실험에서, 학생 모델이 환각(hallucination) 예측 과제에서 교사의 샘플링된 의미적 분산 대비 경쟁력 있는 성능을 보이는 동시에, 도메인 외(out-of-domain) 탐지와 객관식 답 선택을 위한 추가적인 불확실성 기본 요소를 제공함을 확인한다. 우리는 이 기법을 Semantic Self-Distillation(SSD)라고 명명하며, 이는 언어를 넘어선 복잡한 출력 공간에서 예측 불확실성을 증류하는 일반 프레임워크로 활용할 수 있다.