U-Space: 언어 모델에서 불확실성이 언제 그리고 왜 발생하는지 밝혀내기
U-Space: Uncovering When and Why Uncertainty Arises in Language Models
한국어 초록
대규모 언어 모델(LLM)은 점점 더 중요한 의사결정에 활용되고 있습니다. 모델 오류에 따른 파급력이 커짐에 따라, 개별 답변을 얼마나 신뢰할 수 있는가라는 핵심 질문을 더 이상 간과하기 어려워졌습니다. 하지만 언어 모델은 유창한 설명과 권위 있는 어조로 잘못된 결론을 제시할 수 있기 때문에, 언제 답변을 보류해야 하는지 판단하기는 여전히 어렵습니다. 불확실성 정량화(Uncertainty quantification)는 개별 예측의 신뢰도를 추정함으로써 이러한 간극을 해소하고자 합니다. 그러나 기존의 많은 방식은 반복적인 생성이나 별도로 학습된 구성 요소를 필요로 하며, 스칼라 형태의 추정치로는 추론 과정에서 불확실성이 어디서 발생하고 어떻게 전개되는지 드러내지 못합니다. 최근 연구에서는 생성 길이가 불확실성 추정치 및 정답 여부와 강하게 연관될 수 있음이 밝혀져, 추정기의 예측 성능 중 얼마만큼이 출력 길이 자체가 아닌 불확실성 고유의 정보에서 비롯되는가라는 의문이 제기되고 있습니다. 기계론적 해석가능성(Mechanistic interpretability)은 인간이 해석할 수 있는 개념을 중간 모델 상태와 연결함으로써 이러한 한계를 해결할 수 있는 방법을 제시합니다. 이러한 기능을 바탕으로, 본 논문에서는 모델의 변화하는 불확실성을 측정하고 해석할 수 있게 해주는 저차원 부분공간인 U-Space를 소개합니다. 의심과 확신을 나타내는 의미적 앵커를 식별하고, 이들의 언임베딩(unembedding) 방향을 잔차 공간(residual space)으로 다시 매핑한 뒤, 이들의 대조를 직교 기저로 결합합니다. U-Lens는 각 토큰 상태를 이러한 기저 벡터에 투영하여, 직접 검사하거나 단일 스칼라 불확실성 점수로 집계할 수 있는 해석 가능한 토큰 수준 불확실성 맵을 생성합니다. 본 연구의 접근 방식은 정답 라벨, 반복적인 생성 또는 별도의 학습을 필요로 하지 않습니다. 다양한 추론 벤치마크 전반에서 본 방식의 신뢰도 점수는 표준 평가와 길이 제어 평가 모두에서 기존 베이스라인보다 뛰어난 성능을 보였으며, 지도 학습 기반 추정기보다 더 안정적으로 전이됩니다. 코드: https://github.com/s2labres/U-Space.
원문 초록
Large language models are informing decisions with ever-higher stakes. As the consequences of their errors grow, a central question becomes harder to ignore: how much can we trust an individual answer? Yet recognizing when to defer remains difficult because language models can present incorrect conclusions with fluent explanations and an authoritative tone. Uncertainty quantification seeks to address this disconnect by estimating the reliability of individual predictions. However, many existing methods require repeated generations or separately trained components, and their scalar estimates do not reveal where uncertainty arises or how it evolves during reasoning. Recent work has also shown that generation length can be strongly associated with uncertainty estimates and correctness, raising the question of how much of an estimator's predictive power comes from uncertainty-specific information rather than output length alone. Mechanistic interpretability offers a way to address these limitations by connecting human-interpretable concepts to intermediate model states. Building on this capability, we introduce the U-Space, a low-dimensional subspace that makes a model's evolving uncertainty measurable and interpretable. We identify semantic anchors for doubt and certainty, map their unembedding directions back into the residual space, and combine their contrasts into an orthogonal basis. The U-Lens projects each token state onto these basis vectors, yielding an interpretable token-level uncertainty map that can be inspected directly or aggregated into a scalar uncertainty score. Our approach requires no correctness labels, repeated generations, or training. Across reasoning benchmarks, its confidence score outperforms established baselines under both standard and length-controlled evaluation and transfers more reliably than supervised estimators. Code: https://github.com/s2labres/U-Space.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Code: https://github.com/s2labres/U-Space