그리디 디코딩은 정밀도 불변이 아니다: LLM 추론에서의 정밀도 간 출력 발산
Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference
대규모 언어 모델(LLM)의 그리디 디코딩(greedy decoding)은 일반적으로 결정론적인 것으로 간주된다. 본 연구에서는 이것이 정밀도(precision) 불변이 아님을 보인다. 동일한 모델, 프롬프트, 디코딩 알고리즘이라도 동일한 하드웨어에서 BF16과 FP16 간에 서로 다른 출력을 생성한다. 6개 모델(1.1B~7B 매개변수, 4개 제품군; 12B에서도 발산 특성을 추가로 규명함)과 3개 벤치마크에 걸친 평가에서, 49~100%의 프롬프트가 발산하며 단일 토큰 뒤집힘(token flip)이 궤적 수준의 발산으로 이어지는 경우가 많았다. 우리는 실증적 오차 전파 분석을 개발하여 22개 레이어에 걸쳐 누적된 바디 오차가 뒤집힘 단계와 비뒤집힘 단계를 구별 짓지 못한다는 것을 발견했다. 즉, 결과는 상위 2개 후보 간의 방향성 섭동(directional perturbation) 대비 LM 헤드에서의 상위 2개 로짓 마진(top-two logit margin)에 주로 좌우된다. 이 분석은 더 많은 FP32 연산을 적용할수록(더 넓은 범위 적용) 일치도가 더 나빠진다는 점을 포함하여 개입 결과에 대한 5가지 검증 가능한 예측을 제시한다. 실험 결과는 이 5가지 예측과 모두 일치했다. 우리가 평가한 가장 우수한 저오버헤드 개입 방식인 선택적 FP32 LM 헤드 재연산(마진이 임계값 아래로 떨어질 때만 트리거됨)은 저배치(배치 크기 <=4) 단일 스트림 추론에서 4% 미만의 지연 시간 오버헤드로 A10G에서 +22~36 pp(+12~21 pp on L4 및 A100)의 완전 일치율을 달성한다. 우리는 6개 모델과 4개 배치 크기에 걸쳐 적용 가능성 경계를 매핑하고, 학습(training) 시점의 정밀도 안정성이 결정적인 요인이라는 가설을 세운다. 이 방법은 보편적인 결정론 보장이라기보다는 부분적인 완화책이다. 본 연구의 테스트에서 배치 크기 >=8 및 엔드투엔드 FP8 환경을 포함하여 바디에서 비롯된 오차가 지배적일 때는 그 이점이 사라진다.