intuitionmachines.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2603.13911v2cs.AI

혀끝에서 맴도는 정답: LLM이 디코딩할 수 있는 답변에 대해 환각을 일으키는 이유

On the Tip of the Tongue: Why LLMs Hallucinate Answers They Can Decode

언어 모델은 중간 상태에서 정답을 디코딩할 수 있는 경우에도 오답을 출력할 수 있습니다. 이러한 디코딩 가능성(decodability)과 선택(selection) 사이의 간극을 연구하기 위해, 본 연구에서는 첫 번째 답변 토큰에서 읽기(read)와 쓰기(write)를 구분합니다. 읽기는 동일 관계 미끼 대조군(same-relation decoy controls) 하에서 중간 잔차 상태(intermediate residual states)로부터 정답 토큰을 디코딩할 수 있는지를 묻습니다. 쓰기는 최종 판독(final readout)에서 해당 토큰이 내용 토큰(content tokens) 중 1위로 순위가 매겨지는지를 묻습니다. 무작위 레이블 대조군과 함께 세 가지 서로 다른 판독기를 적용했을 때, 상당한 비율의 실패 사례에서 다른 내용 토큰이 선택되는 동안에도 정답은 여전히 읽어낼 수 있는 상태로 남아 있었습니다. 저자들은 이를 정답 로짓과 가장 강력한 대안의 로짓 간의 차이인 최종 판독에서의 선택 마진(selection margin)을 통해 설명합니다. 이 마진은 정답 지지도(answer support)에서 대안 지지도를 뺀 값이며, 토큰 빈도와 연관된 문맥 평균 기준선(context-averaged baseline)과 항목별 항(item-specific term)으로도 분해될 수 있습니다. 정답 지지도를 성공적인 생성에서 전형적으로 나타나는 수준으로 설정하면, 연구 대상 모델 대부분에서 실패 사례의 과반수에 대해 첫 번째 토큰 선택을 복구하기에 충분합니다. 이러한 수정 하에서도 나머지 대부분의 실패 사례에서는 원래 대안이 여전히 앞서 있으며, 이 결과는 판독 기하학(readout geometry)에서 직접적으로 기인합니다. 빈도 방향만을 제거하는 것은 선택을 변화시키지만 정답을 복구하는 경우는 드뭅니다. 동일한 사실에 대해 성공하는 프롬프트 변형은 잔차 스트림(residual stream)과 후기 MLP 출력을 통해 실패하는 변형으로 전이되는 지지도를 제공하지만, 후기 어텐션을 통한 효과는 덜 일관적입니다. 첫 번째 토큰의 복구에도 불구하고 대부분의 전체 답변은 여전히 오답으로 남아 있으며, 이는 이러한 수정을 통해 달성되는 복구를 제한하고 쉽게 혼동되는 세 가지 요소인 디코딩 가능성, 복구 가능성(recoverability), 생성을 구분 짓습니다.