PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13653v1stat.ML

LLM을 테스트 시점에 샤프닝할 때의 파워 샘플링에 대한 비판적 고찰

A Critical Look at Power Sampling when Test Time Sharpening LLMs

검증 가능한 보상을 사용한 강화학습(RLVR, Reinforcement Learning with Verifiable Rewards)은 LLM의 추론 능력을 크게 향상시켰지만, 점점 더 많은 증거들이 이 방법이 주로 분포 샤프닝(distribution sharpening)을 수행한다는 것을 시사한다. 즉, 베이스 모델이 이미 생성하는 추론 경로에 확률 질량을 집중시키는 것이다. 따라서 최근 연구들은 마르코프 체인 몬테카를로(Markov Chain Monte Carlo) 또는 순차 몬테카를로(Sequential Monte Carlo)를 통해 파워 분포 $π_α\propto π_{\text{base}}^α$에서 샘플링함으로써, 보상 신호 없이도 RLVR의 성능 향상을 얻고자 한다. 본 연구는 이러한 샘플러들이 현실적인 연산 예산 하에서 $π_α$로 수렴하지 못한다는 것을 보이며, 이들의 성능 향상이 적절한 채점(grading)을 적용한 단순한 Best-of-$N$을 통해 대부분 재현될 수 있음을 보인다. 이는 이러한 샘플러들이 $π_α$를 근사함으로써가 아니라 고확률 시퀀스를 선택함으로써 성공한다는 것을 시사하며, 자연스럽게 다음과 같은 질문을 제기한다: 파워 분포 자체가 추구할 가치가 있는 목표인가? 우리는 베이스 모델을 $π_α$에 맞추어 미세조정(fine-tuning)함으로써 샘플러의 수렴 문제를 완전히 피하는 방식으로 이 가설을 직접 검증한다. 이 전략은 기존 샘플러들보다 목표 분포를 훨씬 더 충실하게 근사함에도 불구하고, 이 전략이 얻는 성능 향상은 노이즈가 많고 특정 모델과 샘플링 과제에 한정된다. 종합적으로, 우리의 결과는 파워 샘플링의 가치가 $π_α$를 충실히 목표로 하는 데 있는 것이 아니라, 베이스 모델이 이미 가능성이 높다고 판단하는 시퀀스를 추출하는 더 단순한 목표에 있음을 시사한다.