The Power of Test-Time Training for Approximate Sampling
복잡한 확률 분포로부터 효율적으로 샘플링하는 문제는 근본적인 문제로, 최근 생성형 AI의 부상과 함께 대규모 언어 모델(LLM)의 정교한 샘플링 절차가 어려운 추론 문제를 해결하기 위해 제안됨에 따라 점점 더 관련성이 높아지고 있습니다. 그러나 이러한 샘플링 알고리즘의 효과는 LLM과 해당 특정 샘플링 작업 간의 관계에 의해 제한받으며, 이는 테스트 타임 학습(TTT) 프레임워크를 동기로 이어졌습니다. TTT는 추론(inference) 시간에 수신된 부분 생성(partial generations)과 보상(reward) 피드백에 따라 모델의 가중치를 업데이트하여 작동하며, 이를 통해 특정 문제에 적응합니다. 본 연구에서는 $μ^\star$에 대한 근사 밀도 추정치를 제공하는 오라클(oracle) $\hat μ$가 주어졌을 때, 알려진 분포 클래스 ${F}$에 속하는 주어진 확률 측도 $μ^\star$로부터 샘플을 생성하는 문제로서 TTT의 형식화를 제안합니다. 이는 Jerrum, Valiant & Vazirani (1986)와 Jerrum & Sinclair (1989)의 획기적인 연구에서 다루어진 샘플링을 근사 계수(approximate counting)로 축소하는 문제와 밀접하게 관련되어 있습니다. 즉, ${F}$가 모든 분포의 클래스인 경우, 이는 앞서 언급한 계수-샘플링 축소(counting-to-sampling reduction)와 정확히 일치합니다. 본 논문에서는 먼저 $\hat μ$에 대한 쿼리 접근이 주어졌을 때 $μ^\star$로부터 샘플링하는 쿼리 복잡도에 대한 이차 하한(quadratic lower bound)을 보여줍니다(충분히 큰 클래스 ${F}$에 대해). 이를 통해 Jerrum & Sinclair (1989)가 제안하고 Hayes & Sinclair (2010)가 개선한 랜덤 워크(random walk) 접근법이 최적임을 입증합니다. 이는 Hayes & Sinclair가 제기한 미해결 문제에 대한 답이 됩니다. 그 후, ${F}$의 크기가 적절하게 제한된 경우 이 하한을 우회할 수 있음을 보여줍니다. 논의하는 바와 같이, 후자의 결과는 TTT의 추상화로 볼 수 있으며, 따라서 TTT를 위한 원칙에 기반한 이론적 프레임워크 개발의 시작점을 나타냅니다.