언어 모델의 실패 방식: 고착화된 및 지속적인 추론 실패의 토큰 수준 시그니처
How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures
언어 모델 추론의 실패는 추론 트레이스(trace)에 식별 가능한 시그니처를 남기는 뚜렷한 과정을 통해 나타납니다. 우리는 토큰 수준 불확실성 신호를 사용하여 이러한 실패를 특성화하며, 이들이 경험적으로 구별 가능한 두 가지 과정을 통해 발생함을 발견했습니다. 첫 번째는 고착화된 실패(committed failure)로, 모델이 트레이스 초기에 잘못된 추론 경로에 고착화되는 경우입니다. 중심적인 진단 시그니처는 확정 지점(commitment point)으로, 이 지점 이후에는 추가 토큰을 고려하는 것이 실패 탐지에 도움이 되기보다는 오히려 해가 됩니다. 두 번째인 지속적 불확실성(persistent uncertainty)에서는 불확실성이 전반적으로 누적되며, 실패한 완성(completion)과 성공한 완성을 최적으로 구별하기 위해 전체 트레이스가 필요합니다. 이러한 시그니처는 23개의 모델-데이터셋 구성에 걸쳐 재현되며, 프레임워크의 반증 가능한 예측은 23개 사례 중 20개에서 유지되어 두 가지 실패 모드 모두에서 우연보다 훨씬 높은 수치를 보입니다. 마지막으로, 우리는 이 실패 모드 프레임워크가 자기 일관성(self-consistency)에 직접적인 함의를 가짐을 보여주며, 불확실성 신호가 이를 보완하는 시점과 선택적으로 건너뛸 수 있는 시점을 식별합니다. 이러한 결과는 대규모 언어 모델(LLM) 추론 실패가 언제 탐지 가능해지는지 이해하고 이에 따라 탐지 전략을 조정하는 데 대한 기초를 제공합니다.