inf.ethz.chfrancesco.re

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.11399v1cs.AI

포텐셜을 활용한 자기회귀 언어 모델에서의 기대값 추정

Estimating great expectations under autoregressive language models with potentials

언어 모델의 많은 응용 분야는 개별 샘플이 아니라 모델 하에서의 테스트 범함수(test functional)의 기대값에 크게 좌우됩니다. 이러한 기대값을 신뢰성 있게 추정하는 것은 계산 비용이 많이 들 수 있습니다. 본 논문에서는 샘플링 과정의 부산물로 얻어지는 다음 토큰(next-token) 조건부 확률을 활용하여 추정을 보다 효율적으로 수행하는 방법을 제시합니다. 우리는 테스트 범함수를 가법적으로 분해하는 접두사(prefix) 상의 실수값 함수인 포텐셜(potential)을 통해 이를 달성합니다. 선택된 포텐셜에 분산이 좌우되는 추정량(estimator)을 구성하고, 포텐셜이 이러한 분산을 줄여주는 조건을 도출합니다. 그런 다음 여러 추정 대상(estimand) 및 응용 분야에 대한 실용적인 포텐셜을 개발하고, 비슷한 수준의 계산 비용으로 여러 추정 대상에 걸쳐 상당한 분산 감소를 달성함을 입증합니다.