PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.30018v3cs.CL

대규모 언어 모델의 잠재 성능 프로파일링

Latent Performance Profiling of Large Language Models

대규모 언어 모델(LLM)은 표준화된 벤치마크에서 종종 인상적인 점수를 기록하지만, 정확도만으로는 모델의 능력을 온전히 파악하기 어렵다. 리더보드에서 오픈소스 LLM을 평가하는 방식은 데이터 오염, 협소한 태스크 범위, 실제 환경의 신뢰성과의 낮은 정렬(alignment) 같은 고질적인 문제에 직면해 있다. MMLU-Pro, BBH, IFEval과 같은 벤치마크 기반 평가는 고정된 테스트 세트에서 모델이 무엇을 출력하는지를 주로 포착할 뿐, 모델이 정보를 어떻게 처리하고 불확실성을 어떻게 보정(calibrate)하며 내부 지식을 어떻게 구조화하는지는 보여주지 못한다. 본 논문에서는 벤치마크 중심 평가에서 벗어나 이를 보완하는 LLM의 '상태 중심 내재적 평가(state-centered intrinsic assessment)'로의 전환을 제안한다. 이를 위해 은닉 활성화(hidden activations)와 출력 분포로부터 태스크에 구애받지 않는 진단을 도출하는 프레임워크인 잠재 성능 프로파일링(Latent Performance Profiling, LPP)을 소개한다. LPP는 모델의 잠재 표현(latent representation)과 동역학에 대한 일련의 스칼라 지표를 정의하여, 해석 가능한 비교를 가능하게 하고 숨겨진 취약점을 드러내는 특성을 규명한다. 정적인 정확도 점수와 달리 LPP는 비슷한 크기의 모델 전반에서 안정적이고 아키텍처에 민감한 시그니처를 제공한다. 0.5B부터 14B 크기에 이르는 8개 LLM을 대상으로 한 광범위한 실증 분석을 통해, 벤치마크 점수가 유사한 모델이라도 엔트로피나 압축률의 차이와 같이 대조적인 잠재 프로파일을 보일 수 있음을 입증한다. 이러한 통찰을 바탕으로, 리더보드 바이어스와 분리되면서도 내재적 지표와 정렬되는 불확실성 및 기호 추론용 합성 프로브(synthetic probe)를 설계한다. 모델 행동에 대한 더 깊고 해석 가능한 이해를 제공하여 표면적인 정확도를 넘어 더욱 신뢰할 수 있는 모델 선택, 안전성 평가 및 다각적 평가를 가능하게 하도록 벤치마크와 함께 LPP를 보고할 것을 권장한다.