자기 평가의 언어로 말하기: 기계 번역에서 LLM의 언어화된 신뢰도
Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation
번역에 대한 대규모 언어 모델(LLM)의 급속한 인기 상승은 자신의 출력에 대한 신뢰도의 신뢰성을 철저히 연구할 필요를 제기한다. 많은 생성 작업과 달리, 번역 오류와 신뢰도 수준은 다양한 세분화 수준(토큰, 단어 또는 구간)에서 유용할 수 있다. 예측 확률과 같은 내부 신호에 기반한 비지도 접근법은 대안들 사이의 확신을 반영하는 것이지 정확성을 반영하는 것이 아니기 때문에 오해를 불러일으킬 수 있다. 또한 이러한 접근법들은 그러한 내부 신호에 대한 접근이 필요하다. 여기서 우리는 이러한 단점 없이 LLM의 토큰별 신뢰도를 추출하는 다섯 가지 언어화 방식을 고안하고, 이를 모델의 내부 확신 신호의 신뢰성과 비교한다. 우리는 미세 오류 탐지와 보정(calibration)이라는 두 가지 형태의 정렬(alignment)을 사용하여 신뢰성을 평가한다. 두 경우 모두, 내부 방식과 언어화 방식은 유사하게 수행되지만 결과는 모델에 따라 다르다. 흥미롭게도, 내부 방식과 언어화 방식 사이에는 거의 또는 전혀 상관관계가 없음을 발견한다.