모델은 스스로의 환각을 공짜로 잡아낼 수 있을까?: 레이블이 필요 없는 의심 신호, 답변 보류(abstention)에서 레이블 데이터셋에 맞먹는 성능을 보이다
Can a Model Catch Its Own Hallucinations for Free?: Label-Free Doubt Signals Hold Their Own Against a Labelled Dataset for Abstention
한국어 초록
대규모 언어 모델(LLM)은 참인 사실과 거짓인 사실을 똑같이 유창하게 말하지만, 모델은 자신이 불안정한 영역에 있을 때 내부적으로 이를 "알고" 있는 경우가 많다. 즉, 모델이 자신의 답변에 부여하는 확률은 틀리는 사실에서 낮아지는 경향이 있다. 이러한 특성을 활용하는 일반적인 방법, 즉 모델이 추측하는 대신 답변을 보류(abstain)하도록 가르치는 방법은 정답과 오답이 표시된 레이블 데이터셋을 필요로 한다. 우리는 공짜로 얻을 수 있고 레이블이 필요 없는 모델 자신의 신뢰도가 그 역할을 대신할 수 있는지 묻는다. 우리는 각 모델을 (LoRA로) 파인튜닝하여, 고정된(frozen) 신뢰도가 높을 때는 답하고 낮을 때는 "잘 모르겠습니다"라고 말하도록 하며, 정답 여부 레이블 없이 이 신호만을 사용한다. 짧은 형식의 사실 질의응답에서 여섯 개의 오픈 웨이트 모델(1B-8B, 두 개 모델 계열)을 대상으로, 정답 여부를 독립적인 판정 모델(judge model)로 판별한 결과, 이 레이블 없는 방식은 레이블로 지도되는 답변 보류 튜닝과 대등한 성능을 보였다. 동일한 커버리지(coverage)에서 두 방식 간에 통계적으로 검출 가능한 차이는 발견되지 않았다. 답변을 보류하는 대신 어려운 예제를 반복 학습시키는 대조 실험은 도움이 되지 않았으며, 이는 성능 향상이 단순 암기가 아니라 보정(calibration)에서 비롯됨을 시사한다. 이 신호의 유일한 사각지대는 확신에 차서 틀리는 사실로, 이를 표시하지 못한다. 따라서 모델 자신의 의심은 언제 답변을 보류해야 하는지를 가르칠 때 레이블 데이터셋을 거의 공짜로 대체할 수 있다. 코드와 산출물은 요청 시 제공한다.
원문 초록
Large language models state false facts as fluently as true ones, yet a model often "knows" internally when it is on shaky ground: the probability it assigns to its own answer tends to dip on the facts it gets wrong. The usual way to act on this, teaching a model to abstain rather than guess, requires a labelled dataset of right and wrong answers. We ask whether the model's own confidence, which is free and needs no labels, can do that job instead. We fine-tune each model (with LoRA) to answer when its frozen confidence is high and to say "I'm not sure" when it is low, using the signal alone and no correctness labels. Across six open-weights models (1B-8B, two families) on short-form factual question answering, with correctness adjudicated by an independent judge model, this label-free recipe holds its own against label-supervised abstention-tuning: at matched coverage we find no statistically detectable difference between the two. A control that drills hard examples instead of abstaining does not help, indicating the gain comes from calibration, not rote memorization. The signal's one blind spot is confidently wrong facts, which it cannot flag. A model's own doubt is thus a near-free substitute for a labelled dataset when teaching it when to abstain. Code and artifacts are available on request.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.26121v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.