SAGE: 언어적 불확실성 정렬을 위한 답변 조건부 불확실성 타겟
SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment
대규모 언어 모델(LLM)은 점차 자연어 진술을 통해 불확실성을 표현하지만, 이러한 표현은 종종 모델의 샘플링된 동작을 반영하지 못합니다. 우리는 언어적 불확실성 정렬을 분포적 보정 문제로 연구합니다: 프롬프트에 대한 적절한 불확실성 타겟은 고립된 응답이 아닌 반복적인 모델 출력에서 추정되어야 합니다. 그러나 그룹 롤아웃만으로는 부족한데, 그 이유는 결과 타겟이 유용한 학습 신호를 제공해야 하기 때문입니다. 기존 타겟들은 이 요구사항을 부분적으로만 충족합니다. 우리는 SAGE(Semantic-Answer Guided Entropy, 의미적 답변 유도 엔트로피)를 제안합니다. 이는 샘플링된 응답들에 대해 답변 조건부 불확실성 기하학을 구축하는 그룹 수준 불확실성 타겟입니다. SAGE는 부드럽고 스케일을 보존하는 보정 신호를 유지하면서 범주형, 수치형, 기호형 답변의 구분을 보존합니다. 또한 이 타겟을 GUPO(Group-Uncertainty Preference Optimization, 그룹 불확실성 선호 최적화)를 통해 적용하는데, 이는 전체 응답이 아닌 언어적 불확실성 표현을 학습시키는 불확실성 채널 학습 프레임워크입니다. 사실적, 수학적, 다지선다형 추론 작업에 걸친 실험 결과, 불확실성 순위가 개선되고 보정 오차가 낮아지며 과신이 감소함을 보여줍니다.