inf.ethz.chryan.cotterell

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.11399v1cs.AI

포텐셜을 활용한 자기회귀 언어 모델에서의 기대값 추정

Estimating great expectations under autoregressive language models with potentials

언어 모델의 많은 응용 분야는 개별 샘플이 아니라 모델 하에서의 테스트 범함수(test functional)의 기대값에 크게 좌우됩니다. 이러한 기대값을 신뢰성 있게 추정하는 것은 계산 비용이 많이 들 수 있습니다. 본 논문에서는 샘플링 과정의 부산물로 얻어지는 다음 토큰(next-token) 조건부 확률을 활용하여 추정을 보다 효율적으로 수행하는 방법을 제시합니다. 우리는 테스트 범함수를 가법적으로 분해하는 접두사(prefix) 상의 실수값 함수인 포텐셜(potential)을 통해 이를 달성합니다. 선택된 포텐셜에 분산이 좌우되는 추정량(estimator)을 구성하고, 포텐셜이 이러한 분산을 줄여주는 조건을 도출합니다. 그런 다음 여러 추정 대상(estimand) 및 응용 분야에 대한 실용적인 포텐셜을 개발하고, 비슷한 수준의 계산 비용으로 여러 추정 대상에 걸쳐 상당한 분산 감소를 달성함을 입증합니다.

arXiv:2608.27428v1cs.CL

변환 언어 모델의 확률적 추정

Stochastic Estimation of Transduced Language Models

변환 언어 모델(Transduced language model, TLM)은 사전학습된 \emph{소스} 언어 모델과 함수형 유한 상태 변환기(finite-state transducer)를 합성하여 \emph{타깃} 문자열에 대한 언어 모델을 유도한다. TLM에서 타깃 접두 문맥(prefix)의 확률을 계산하는 것은, 변환기가 해당 접두 문맥으로 시작하는 타깃 문자열로 사상하는 모든 소스 문자열의 소스 모델 확률을 합산하는 것과 같다. 이 집합은 지수적으로 크거나 무한할 수 있다. 기존 연구는 소스 접두 문맥 확률에 기반한 계산상의 지름길을 사용한 뒤, 그 결과로 얻은 합을 임계값 기반 가지치기(pruning) 빔 합산(beam summing)으로 근사한다. 이 방식은 오차를 알 수 없는 하한(lower bound)을 산출한다. 이에 우리는 소스 접두 문맥을 비복원 추출로 재샘플링하고, 선택된 각 접두 문맥을 그 포함 확률의 역수로 재가중한다. 이러한 보정을 재귀적으로 적용하면 타깃 접두 문맥 확률에 대한 불편 추정량(unbiased estimator)을 얻을 수 있으며, 임계값 가지치기로 손실된 질량을 추정할 수 있음을 보인다. 우리의 빔 합산 알고리즘은 유지되는 소스 접두 문맥을 확장하고 어떤 접두 문맥을 유지할지 샘플링하며, 누적 추정치에 더 많은 확률 질량이 더해질수록 그 수를 줄인다. 이를 통해 계산량을 절약할 수 있으며 실행이 확률 1로 종료됨이 보장된다. 우리는 백과사전 텍스트와 DNA에서 복원 재샘플링을 사용하는 순차적 몬테카를로(sequential Monte Carlo) 베이스라인과 비교하여 본 방법을 평가한다. 이 방법은 텍스트에서 더 나은 연산량-분산 트레이드오프를 달성하고, DNA에서는 동일한 최대 입자(particle) 수에서 더 낮은 오차를 달성한다. DNA-아미노산 변환에서는 임계값 가지치기 빔 합산 대비 실행 시간을 여러 자릿수 단축하며, 긴 타깃 문자열에 대한 접두 문맥 확률 추정을 실현 가능하게 만든다. 이미 발표된 읽기 시간(reading-time) 분석에서 임계값 가지치기를 불편 샘플링으로 대체하면 추정된 코퍼스 서프라이절(surprisal)이 상당히 낮아지지만, 발표된 결론은 바뀌지 않는다.