여러 응답을 샘플링하고 검증기(verifier)를 통과하는 하나의 응답을 유지하는 방식은 대규모 언어 모델(LLM)이 단일 응답 능력 이상의 문제를 해결할 수 있게 하지만, 다수의 배포 환경이 단일 응답으로 답변하는 반면 이러한 탐색(search) 비용은 모든 쿼리마다 반복적으로 지불되어야 합니다. 검증된 응답을 활용한 사후 학습(post-training)은 이러한 탐색의 이점을 모델로 전이할 수 있습니다. 그러나 고정된 예산 하에서 정답 여부만을 기준으로 선택할 경우, 모델이 이미 올바르게 답변하는 문제에 슬롯을 소모하게 되어 오류를 교정하는 데 배정되는 슬롯이 줄어듭니다. 이러한 불균형을 해결하기 위해, 우리는 Pass@K와 Pass@1 사이의 격차, 즉 소스 모델이 단일 응답에서는 실패하지만 K개의 샘플 내에서는 해결하는 문제를 대상으로 학습하는 GapFT를 제안합니다. GapFT는 목적 함수와 학습 예산을 고정한 채 어떤 검증된 응답을 학습에 포함할지만을 변경합니다. 또한 정확한 분해 분석을 통해 결과적인 Pass@1의 변화를 교정된 실패와 소스 모델이 이미 해결했던 문제에서의 성능 퇴행(regression)으로 분리합니다. 세 가지 모델 계열을 대상으로 한 LogiQA 2.0 및 ReClor 실험에서, GapFT는 예산이 일치된 균일 기각 샘플링 미세조정(rejection-sampling fine-tuning, RFT) 대비 모든 환경에서 우수한 성능을 보이며 양의 통합 효과(pooled effect)를 나타냈고, Llama-3.1-8B 및 Mistral-7B에서는 전체 검증된 풀의 11~34% 문제만으로 전체 풀 미세조정 이득의 약 3분의 2에서 5분의 4를 회복합니다. 추가 분석을 통해 이러한 성능 향상은 초기 몇 개의 탐색 샘플로 회복되는 실패 사례에서 비롯되는 반면, 더 깊은 탐색을 통해서만 발견되는 실패 사례는 리플레이(replay)를 대체하여 순이득을 더하지 못한다는 점, 탐색이 도달할 수 없는 정답 레이블(gold-labeled) 실패 사례로 동일한 예산을 채우면 정확도가 떨어진다는 점, 그리고 성능 향상은 탐색이 노출하는 전이 가능한 실패 사례의 수에 의해 제한된다는 점을 밝힙니다.
온-정책 자기 증류(on-policy self-distillation)는 단일 모델을 교사와 학생 모두로 활용하며, 교사가 올바른 데모를 조건으로 밀도 높은 토큰 수준의 피드백을 제공함으로써 강력한 pass@1 정확도를 달성한다. 우리는 이 방식이 숨겨진 비용을 수반할 수 있음을 보인다: 롤아웃 다양성이 감소하고 pass@k 곡선이 평탄화되어(즉, 더 많은 롤아웃을 생성해도 정확도가 향상되지 않는다) 나타난다. 우리는 이를 샘플링된 데모를 활용한 자기 증류 설계에서의 복합적 편향으로 추적한다. 교사는 샘플링된 올바른 롤아웃을 조건으로 각 학생 롤아웃을 채점하며, 피드백을 모델 자체의 편향을 통해 전달한다. 우리는 최적 자기 증류 정책을 이론적으로 분석하고, 이것이 학생의 롤아웃과 컨텍스트로 사용된 올바른 롤아웃 사이의 포인트별 조건부 상호 정보(pointwise conditional mutual information) 점수만큼 기본 분포를 기울인다는 것을 보인다. 동등하게 올바른 롤아웃들 간의 확률 비율을 보존하는 이상적인 온-정책 강화학습(RL)과 달리, 자기 증류는 기존의 확률 격차를 증폭시켜 이미 지배적인 모드에 확률 질량을 집중시킬 수 있다. 통제된 그래프 경로 탐색 태스크와 과학 질의응답 벤치마크에서, 자기 증류된 모델은 평균 성능에서 강화학습과 동등하거나 이를 초과하지만, 기능적·의미론적 다양성이 현저히 낮아 다양한 전략을 요구하는 분포 외(out-of-distribution) 환경에서 실패한다.
강화학습(RL) 알고리즘은 각 문제에 대해 n>1개의 해결 시도를 샘플링하고 이를 독립적으로 보상합니다. 이는 pass@1 성능을 최적화하며, 샘플 집합의 다양성과 집합적 유용성을 희생시키면서 개별 샘플의 강도를 우선시합니다. 이로 인해 샘플링 용량이 충분히 활용되지 못하고, 탐험이 제한되며 더 어려운 예제에서의 개선도 저해됩니다. 이를 해결하기 위해, 우리는 최종 보상에 변환을 적용하여 pass@k 성능을 직접 최적화하는 Pass-at-k Policy Optimization(PKPO)을 제안합니다. PKPO는 공동으로 고려될 때 보상을 최대화하는 샘플 집합을 최적화합니다. 우리의 기여는 이진 및 연속 보상 설정 모두에서 pass@k와 그 그래디언트에 대한 새로운 저분산 불편 추정량을 유도한 것입니다. 우리는 이 추정량을 사용한 최적화가, 안정적이고 효율적인 변환 함수에 의해 보상이 공동으로 변환된 표준 강화학습으로 귀결됨을 보입니다. 기존 연구들이 k=n으로 제한된 반면, 우리의 방법은 임의의 k <= n에 대한 pass@k의 강건한 최적화를 최초로 가능하게 합니다. 또한, pass@1 성능을 희생하여 pass@k 이득을 얻는 방식 대신, 우리의 방법은 학습 중 k를 어닐링하여 두 지표를 모두 최적화하며, 상당한 pass@k 향상과 함께 높은 pass@1 수치를 함께 달성하는 경우가 많습니다. 우리는 간단한 실험을 통해 보상 변환을 검증하며, 이는 우리 공식화의 분산 감소 특성을 드러냅니다. 또한 오픈소스 대규모 언어 모델(LLM)인 GEMMA-2를 사용한 실제 사례도 포함합니다. 우리의 변환이 목표 k에 대해 효과적으로 최적화함을 확인하였습니다. 더 높은 k 값은 더 많고 어려운 문제를 해결할 수 있게 하며, k를 어닐링하면 pass@1과 pass@k 모두 향상됩니다. 결정적으로, 기존의 pass@1 최적화가 정체되는 어려운 과제 집합에서, 우리의 pass@k 접근법은 개별 샘플의 유용성보다 공동 유용성을 우선시함으로써 더 나은 탐험을 가능하게 하여 학습을 재개시킵니다.