PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19404v1cs.LG

추론의 열역학적 서명: 대규모 언어 모델에서의 환각 감지를 위한 자유 에너지 및 스펙트럼 형식 인자 진단

Thermodynamic Signatures of Reasoning: Free-Energy and Spectral-Form-Factor Diagnostics for Hallucination Detection in Large Language Models

대규모 언어 모델(LLM)에서의 환각(hallucination) 감지는 배포에 있어 매우 중요하며, 최근 연구에서는 어텐션(attention) 유래 그래프 라플라시안(graph Laplacian)의 스펙트럼이 추론(reasoning) 품질에 대한 강력한 신호를 담고 있음을 보여줍니다. 그러나 기존의 스펙트럼 진단 방식은 라플라시안 스펙트럼을 소수의 고유값(eigenvalue)이나 수동으로 선택한 스칼라 값으로 요약하여 대부분의 구조를 활용하지 못합니다. 우리는 각 층(layer)의 어텐션 라플라시안을 해밀토니안(Hamiltonian)으로 취급하고, 그 열역학적 퍼텐셜(thermodynamic potentials)인 분할 함수(partition function), 자유 에너지(free energy), 스펙트럼 엔트로피(spectral entropy), 열용량(heat capacity)을 무작위 행렬 이론(RMT) 스펙트럼 형식 인자(spectral form factor)와 함께 추출하는 스펙트럼 기술자(descriptor)인 자유 에너지 서명(Free-Energy Signatures, Fes)을 제안합니다. 우리는 세 가지 결과를 증명합니다: (i) 어텐션 섭동(perturbation) 하에서의 Fes의 립시츠 안정성(Lipschitz stability); (ii) Fes가 유한한 스펙트럼 요약을 풍부하게 하며, 명시적인 규칙성(regularity) 및 그리드 해상도(grid-resolution) 가정 하에서 모멘트 유래 스펙트럼 기능(spectral functionals)을 근사함을 보여주는 표현력(expressiveness) 결과; (iii) Fes로 구축된 학습(training) 없는 감지기의 AUROC에 대한 유한 샘플 PAC 한계(PAC bound). 경험적으로, 6개의 오픈 가중치(open-weight) LLM과 6개의 벤치마크(benchmark)에 걸쳐, Fes 기술자에 대한 경량 프로브(probe)는 어텐션 스펙트럼 기준선(baseline) 중 가장 강력한 집계 AUROC를 달성하여, 기본 LLM의 업데이트 없이 평균적으로 LapEig보다 $+6.5$ AUROC 포인트, GoR-4보다 $+2.4$ 포인트 향상되었습니다. 완전 비지도 설정(unsupervised setting)에서, RMT 편차 점수(RMT-deviation score)는 평균 AUROC $0.71$을 달성하여 레이블 없는(label-free) 하지만 약한 감지기를 제공합니다. 보완적인 RMT 분석은 올바른 생성(correct generations)은 더 위그너-다이슨(Wigner-Dyson) 유사 스펙트럼 통계를 나타내는 반면, 환각은 더 푸아송(Poisson) 유사 통계를 나타냄을 보여줍니다. 익명화된 코드와 설정(config)은 보충 자료에 제공됩니다.

arXiv:2606.20231v1cs.AI

지능의 열역학적 척도

Thermodynamic Measure of Intelligence

지능을 측정할 수 있는가? 우리는 지능을 희귀하지만 타당한 미래의 법칙적 증폭으로 정의할 수 있다고 제안합니다: 시스템은 수동적 역학(passive dynamics) 하에서는 불가능하지만 영역의 제약조건 하에서는 허용되는 결과의 확률을 증가시킵니다. 우리는 지능형 시스템이 세계와 그 안에서 자신의 위치를 모델링해야 한다는 전제에서 시작합니다. 시스템은 모델링하는 세계의 일부이기 때문에, 이는 자연스럽게 재귀적 자기 시뮬레이션(recursive self-simulation)으로 이어집니다: 시스템은 자신의 행동이 궤적의 일부가 되는 미래를 표현합니다. 우리의 핵심 결과는 이 아키텍처를 희귀-타당 미래의 법칙적 증폭에 대한 정밀한 열역학적 척도와 연결하는 필요성 진술과 조건부 거의 충분성 진술을 제공합니다: 내부 시뮬레이션이 높은 충실도(fidelity)로 희귀-타당 미래를 식별하지 않으면 높은 희귀-타당 리프트(lift)는 불가능합니다; 반대로, 희귀-타당 충실도가 높고 시뮬레이션이 효과적인 정책(policy)을 포함할 때, 달성 가능한 리프트는 구동 제한 최적치(actuation-limited optimum)에 근접합니다. 따라서 재귀적 자기 시뮬레이션은 지능의 그럴듯한 특징일 뿐만 아니라, 명시된 가정 하에서 높은 열역학적 지능에 대해 필요하며 거의 충분합니다. 결과적인 프레임워크는 수동 물질 및 피드백 제어기, 대규모 언어 모델(LLM), 텍스트 생성기로서의 인간부터 맥스웰의 도마뱀(Maxwell's demon)과 유사한 정보 엔진에 이르기까지 지능을 보편적 척도로 측정 가능하게 만듭니다.