PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02427v4cs.LG

임베딩 섭동을 통한 대규모 언어 모델 추론에서의 불확실성 위치 특정

Uncertainty Localization in LLM Reasoning via Embedding Perturbations

대규모 언어 모델(LLM)은 다양한 영역에서 괄목할 만한 발전을 이루었으나, 여전히 신뢰할 수 없거나 오해의 소지가 있는 출력을 생성할 수 있습니다. 책임감 있는 LLM 활용을 위해, 모델 출력이 문제가 될 가능도를 나타내는 모델의 출력 불확실성을 추정하는 불확실성 정량화 기법이 사용됩니다. LLM 추론(reasoning) 작업의 경우, 최종 답변뿐만 아니라 중간 추론 과정에서도 불확실성이 어디에서 발생하는지 특정하는 불확실성 추정이 필수적입니다. 이러한 정보는 추론(inference) 과정에서 보다 세밀하고 표적화된 개입을 가능하게 할 수 있습니다. 본 연구에서는 LLM 추론 궤적 내에서 불확실한 지점의 위치를 효과적으로 특정할 수 있는 지표를 조사합니다. 연구 결과, 앞선 토큰들의 임베딩 섭동(perturbation)에 매우 민감한 토큰에서 불확실한 중간 생성이 일어날 가능성이 더 높다는 점을 밝혀냈습니다. 실험을 통해 이러한 섭동 기반 지표가 확률 기반, 샘플링 기반, 베이지안 기반 접근 방식을 포함한 기준선(baseline) 방법보다 불확실한 중간 단계를 특정하는 데 더 우수한 성능을 달성함을 보여줍니다. 아울러 제안된 지표는 뛰어난 간결성과 효율성 또한 제공합니다.