추론 시점 목적함수를 위한 층화 정책 학습
Learning Stratified Policies for Inference-Time Objectives
한국어 초록
추론 시점 스케일링은 여러 응답을 샘플링하고 그 응답 집합의 효용을 평가해 대규모 언어 모델의 성능을 높인다. 그러나 기존 접근법 중 다수는 단일 정책에서 반복적으로 샘플링한다. 이 연구에서는 추론 시점의 샘플 예산을 여러 정책에 나누어 배정할 수 있는지 살펴본다. 학습한 정책 $k$개가 각각 응답 하나를 제공해 $k$개 샘플을 사용하는 추론 시점 목적함수를 평가하는 층화 정책을 제안한다. 공유 언어 모델 백본에 별도의 LoRA 어댑터를 달아 정책 집합을 구현하고 pass@$k$에 맞춰 최적화한다. 선형 설정을 분석해 이 접근법의 이론적 근거를 제시한다. 단일 LoRA는 각각 예측 오차가 0보다 크더라도 LoRA를 여러 개 사용하면 best-of-$k$ 근사 오차가 0이 될 수 있다. 여러 추론 과제의 실험에서 층화 정책은 단일 정책 기준선보다 pass@$k$를 일관되게 높였다. 이 결과는 추론 시점에 단일 정책에서 독립적이고 동일한 분포로 반복 샘플링하는 것보다 상호 보완적인 정책에 샘플을 분배하는 편이 샘플 예산을 더 효과적으로 활용할 수 있음을 보여 준다.
원문 초록
Inference-time scaling improves the performance of large language models by sampling multiple responses and evaluating their collective utility. However, many existing approaches obtain these samples by repeatedly sampling from a single policy. In this work, we study if the sample budget at inference time can instead be allocated across a population of policies. We introduce stratified policies, where each of $k$ learned policies contributes one response to a $k$-sample inference-time objective. We realize this policy population using separate LoRA adapters on a shared language model backbone and optimize it for pass@$k$. We theoretically motivate the approach by analyzing the linear setting; a population of LoRAs can achieve zero best-of-$k$ approximation error in settings where every single LoRA has strictly positive prediction error. Empirically, we demonstrate that stratified policies consistently improve pass@$k$ over a single-policy baseline across multiple reasoning tasks. Overall, our results highlight how distributing samples across complementary policies can be a more effective use of sample budget than repeated i.i.d. sampling from a single policy at inference time.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23154v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.