추론의 열역학적 서명: 대규모 언어 모델에서의 환각 감지를 위한 자유 에너지 및 스펙트럼 형식 인자 진단
Thermodynamic Signatures of Reasoning: Free-Energy and Spectral-Form-Factor Diagnostics for Hallucination Detection in Large Language Models
대규모 언어 모델(LLM)에서의 환각(hallucination) 감지는 배포에 있어 매우 중요하며, 최근 연구에서는 어텐션(attention) 유래 그래프 라플라시안(graph Laplacian)의 스펙트럼이 추론(reasoning) 품질에 대한 강력한 신호를 담고 있음을 보여줍니다. 그러나 기존의 스펙트럼 진단 방식은 라플라시안 스펙트럼을 소수의 고유값(eigenvalue)이나 수동으로 선택한 스칼라 값으로 요약하여 대부분의 구조를 활용하지 못합니다. 우리는 각 층(layer)의 어텐션 라플라시안을 해밀토니안(Hamiltonian)으로 취급하고, 그 열역학적 퍼텐셜(thermodynamic potentials)인 분할 함수(partition function), 자유 에너지(free energy), 스펙트럼 엔트로피(spectral entropy), 열용량(heat capacity)을 무작위 행렬 이론(RMT) 스펙트럼 형식 인자(spectral form factor)와 함께 추출하는 스펙트럼 기술자(descriptor)인 자유 에너지 서명(Free-Energy Signatures, Fes)을 제안합니다. 우리는 세 가지 결과를 증명합니다: (i) 어텐션 섭동(perturbation) 하에서의 Fes의 립시츠 안정성(Lipschitz stability); (ii) Fes가 유한한 스펙트럼 요약을 풍부하게 하며, 명시적인 규칙성(regularity) 및 그리드 해상도(grid-resolution) 가정 하에서 모멘트 유래 스펙트럼 기능(spectral functionals)을 근사함을 보여주는 표현력(expressiveness) 결과; (iii) Fes로 구축된 학습(training) 없는 감지기의 AUROC에 대한 유한 샘플 PAC 한계(PAC bound). 경험적으로, 6개의 오픈 가중치(open-weight) LLM과 6개의 벤치마크(benchmark)에 걸쳐, Fes 기술자에 대한 경량 프로브(probe)는 어텐션 스펙트럼 기준선(baseline) 중 가장 강력한 집계 AUROC를 달성하여, 기본 LLM의 업데이트 없이 평균적으로 LapEig보다 $+6.5$ AUROC 포인트, GoR-4보다 $+2.4$ 포인트 향상되었습니다. 완전 비지도 설정(unsupervised setting)에서, RMT 편차 점수(RMT-deviation score)는 평균 AUROC $0.71$을 달성하여 레이블 없는(label-free) 하지만 약한 감지기를 제공합니다. 보완적인 RMT 분석은 올바른 생성(correct generations)은 더 위그너-다이슨(Wigner-Dyson) 유사 스펙트럼 통계를 나타내는 반면, 환각은 더 푸아송(Poisson) 유사 통계를 나타냄을 보여줍니다. 익명화된 코드와 설정(config)은 보충 자료에 제공됩니다.