arXiv:2608.27428v1 cs.CL

변환 언어 모델의 확률적 추정

Stochastic Estimation of Transduced Language Models

Vésteinn Snæbjarnarson, Samuel Kiegeland, Manuel de Prada Corral, Ryan Cotterell, Tim Vieira

제출 2026-08-27

한국어 초록

변환 언어 모델(Transduced language model, TLM)은 사전학습된 \emph{소스} 언어 모델과 함수형 유한 상태 변환기(finite-state transducer)를 합성하여 \emph{타깃} 문자열에 대한 언어 모델을 유도한다. TLM에서 타깃 접두 문맥(prefix)의 확률을 계산하는 것은, 변환기가 해당 접두 문맥으로 시작하는 타깃 문자열로 사상하는 모든 소스 문자열의 소스 모델 확률을 합산하는 것과 같다. 이 집합은 지수적으로 크거나 무한할 수 있다. 기존 연구는 소스 접두 문맥 확률에 기반한 계산상의 지름길을 사용한 뒤, 그 결과로 얻은 합을 임계값 기반 가지치기(pruning) 빔 합산(beam summing)으로 근사한다. 이 방식은 오차를 알 수 없는 하한(lower bound)을 산출한다. 이에 우리는 소스 접두 문맥을 비복원 추출로 재샘플링하고, 선택된 각 접두 문맥을 그 포함 확률의 역수로 재가중한다. 이러한 보정을 재귀적으로 적용하면 타깃 접두 문맥 확률에 대한 불편 추정량(unbiased estimator)을 얻을 수 있으며, 임계값 가지치기로 손실된 질량을 추정할 수 있음을 보인다. 우리의 빔 합산 알고리즘은 유지되는 소스 접두 문맥을 확장하고 어떤 접두 문맥을 유지할지 샘플링하며, 누적 추정치에 더 많은 확률 질량이 더해질수록 그 수를 줄인다. 이를 통해 계산량을 절약할 수 있으며 실행이 확률 1로 종료됨이 보장된다. 우리는 백과사전 텍스트와 DNA에서 복원 재샘플링을 사용하는 순차적 몬테카를로(sequential Monte Carlo) 베이스라인과 비교하여 본 방법을 평가한다. 이 방법은 텍스트에서 더 나은 연산량-분산 트레이드오프를 달성하고, DNA에서는 동일한 최대 입자(particle) 수에서 더 낮은 오차를 달성한다. DNA-아미노산 변환에서는 임계값 가지치기 빔 합산 대비 실행 시간을 여러 자릿수 단축하며, 긴 타깃 문자열에 대한 접두 문맥 확률 추정을 실현 가능하게 만든다. 이미 발표된 읽기 시간(reading-time) 분석에서 임계값 가지치기를 불편 샘플링으로 대체하면 추정된 코퍼스 서프라이절(surprisal)이 상당히 낮아지지만, 발표된 결론은 바뀌지 않는다.

원문 초록

Transduced language models (TLMs) compose a pretrained \emph{source} language model with a functional finite-state transducer to induce a language model over \emph{target} strings. Computing the probability of a target prefix under a TLM amounts to summing the source-model probabilities of all source strings that the transducer maps to target strings beginning with that prefix. This set can be exponentially large or infinite. Prior work uses a computational shortcut based on source prefix probabilities, then approximates the resulting sum with threshold-pruned beam summing. This produces a lower bound with unknown error. Instead, we resample source prefixes without replacement and reweight each selected prefix by the inverse of its inclusion probability. We show that applying this correction recursively gives an unbiased estimator of the target prefix probability and lets us estimate the mass lost by threshold pruning. Our beam-summing algorithm extends the retained source prefixes and samples which prefixes to keep, reducing their number as more probability mass is added to the running estimate. This can save computation and guarantees that the run halts with probability one. We evaluate the method on encyclopedic text and DNA against sequential Monte Carlo baselines that resample with replacement. It achieves a better compute--variance tradeoff on text and lower error at the same maximum number of particles on DNA. On a DNA-to-amino-acid transduction, it reduces runtime by several orders of magnitude relative to threshold-pruned beam summing and makes estimating prefix probabilities for long target strings feasible. Replacing threshold pruning with unbiased sampling in a published reading-time analysis substantially lowers the estimated corpus surprisal but leaves the published conclusions unchanged.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.27428v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.