LLM을 테스트 시점에 샤프닝할 때의 파워 샘플링에 대한 비판적 고찰
A Critical Look at Power Sampling when Test Time Sharpening LLMs
한국어 초록
검증 가능한 보상을 사용한 강화학습(RLVR, Reinforcement Learning with Verifiable Rewards)은 LLM의 추론 능력을 크게 향상시켰지만, 점점 더 많은 증거들이 이 방법이 주로 분포 샤프닝(distribution sharpening)을 수행한다는 것을 시사한다. 즉, 베이스 모델이 이미 생성하는 추론 경로에 확률 질량을 집중시키는 것이다. 따라서 최근 연구들은 마르코프 체인 몬테카를로(Markov Chain Monte Carlo) 또는 순차 몬테카를로(Sequential Monte Carlo)를 통해 파워 분포 $π_α\propto π_{\text{base}}^α$에서 샘플링함으로써, 보상 신호 없이도 RLVR의 성능 향상을 얻고자 한다. 본 연구는 이러한 샘플러들이 현실적인 연산 예산 하에서 $π_α$로 수렴하지 못한다는 것을 보이며, 이들의 성능 향상이 적절한 채점(grading)을 적용한 단순한 Best-of-$N$을 통해 대부분 재현될 수 있음을 보인다. 이는 이러한 샘플러들이 $π_α$를 근사함으로써가 아니라 고확률 시퀀스를 선택함으로써 성공한다는 것을 시사하며, 자연스럽게 다음과 같은 질문을 제기한다: 파워 분포 자체가 추구할 가치가 있는 목표인가? 우리는 베이스 모델을 $π_α$에 맞추어 미세조정(fine-tuning)함으로써 샘플러의 수렴 문제를 완전히 피하는 방식으로 이 가설을 직접 검증한다. 이 전략은 기존 샘플러들보다 목표 분포를 훨씬 더 충실하게 근사함에도 불구하고, 이 전략이 얻는 성능 향상은 노이즈가 많고 특정 모델과 샘플링 과제에 한정된다. 종합적으로, 우리의 결과는 파워 샘플링의 가치가 $π_α$를 충실히 목표로 하는 데 있는 것이 아니라, 베이스 모델이 이미 가능성이 높다고 판단하는 시퀀스를 추출하는 더 단순한 목표에 있음을 시사한다.
원문 초록
Reinforcement learning with verifiable rewards (RLVR) has substantially improved LLM reasoning, yet growing evidence suggests it mainly performs distribution sharpening: concentrating probability mass on reasoning paths the base model already produces. Recent work therefore seeks RLVR's gains without needing reward signals, by sampling from the power distribution $π_α\propto π_{\text{base}}^α$ via Markov chain Monte Carlo or sequential Monte Carlo. We show that these samplers fail to converge to $π_α$ under realistic compute budgets, and that their gains are largely recreated via simple Best-of-$N$ with appropriate grading . This suggests they succeed by selecting high-probability sequences, not by approximating $π_α$, raising a natural question: is the power distribution itself a worthwhile target? We test this hypothesis directly by fine-tuning the base model to match $π_α$, sidestepping sampler convergence issues entirely. Despite approximating the target far more faithfully than existing samplers, this strategy yields gains that are noisy and specific to certain models and sampling tasks. Together, our results suggest that the value of power sampling lies not in faithfully targeting $π_α$, but in the simpler goal of extracting sequences the base model already deems likely.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
검증 가능한 보상을 활용한 강화학습을 위한 분산-최적 상태 리샘플링
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
검증 가능한 보상을 활용한 강화학습(RL)은 롤아웃 예산의 상당 부분을 학습 신호를 제공하지 않는 상태에 소비합니다. 본 연구에서는 이를 샘플링 분포 자체에 대한 질문으로 재구성합니다. 즉, 고정된 롤아웃 예산 하에서 어떤 상태 분포가 정책 그래디언트 추정량의 분산을 최소화하는가 하는 점입니다. 이에 대한 해답은 닫힌 형식(closed-form)의 네이만 배분(Neyman allocation), $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$으로 도출되며, 이는 GRPO의 그룹 상대적 이점(group-relative advantage)과 자연스럽게 연결되고 외재적으로 부과된 스케줄 없이도 정책이 향상됨에 따라 창발적인 역방향 커리큘럼(reverse curriculum)을 유도합니다. 이러한 원리를 바탕으로, 접두 문맥(prefix) 재생 버퍼와 비용이 들지 않는 분산 프록시를 사용하는 GRPO의 플러그인 수정 기법인 VSR(Variance-driven State Resampling)을 제안합니다. 수학적 추론 벤치마크 및 긴 주기의 에이전트(agentic) 과제(Sokoban, BabyAI)에서 VSR은 업데이트당 생성되는 토큰 수를 줄이면서도 대부분의 벤치마크에서 GRPO 및 GiGPO보다 우수한 성능을 달성합니다.
에이전트 비판적 학습
Agentic Critical Training
모방 학습(IL)은 언어 모델 에이전트가 전문가의 행동을 재현하도록 가르치지만, 그 행동을 그럴듯한 실수와 구별하도록 가르치지는 못합니다. 자기 반성(self-reflection) 기법은 대안적 선택지에 모델을 노출시키지만, 고정된 근거(rationale)와 행동을 모방하기 위해 지도 미세조정(SFT)을 사용합니다. 본 논문에서는 검증 가능한 보상을 활용한 강화학습(RLVR)을 통해 모델이 행동을 직접 판단하도록 학습시키는 '에이전트 비판적 학습(ACT)'을 제안합니다. ACT는 전문가 궤적의 각 상태에서 전문가 행동과 초기 정책에서 샘플링된 대안 행동을 짝지어 그 순서를 무작위로 섞습니다. 모델은 자체적인 추론 과정을 생성하지만 전문가 행동을 선택했을 때만 보상을 받습니다. ACT는 시연(demonstration) 데이터를 재사용하고, 참조 근거를 요구하지 않으며, 모델 크기 전반에 걸쳐 쌍(pair)의 재사용을 허용합니다. ACT는 IL 이전의 웜업 단계로 적용되며, 선택적으로 이후에 강화학습을 거칠 수 있고, 추론 시에는 후보군 비교를 요구하지 않습니다. ALFWorld-ID, WebShop, ScienceWorld 전반에서 Qwen3-8B 및 Olmo-3-7B-Instruct를 대상으로 평가한 결과, ACT는 IL 대비 평균 5.85점, ACT를 적용하지 않은 IL$\to$RL 대비 4.12점의 성능 향상을 기록하는 동시에 ALFWorld-OOD 성능도 개선했습니다. ScienceWorld에서 Olmo 모델을 사용했을 때 전체 파이프라인은 CoT 프롬프팅 대비 15.36점, ACT를 적용하지 않은 IL$\to$RL 대비 9.23점 향상되었습니다. ACT$\to$IL과 전체 파이프라인 모두 지도 반성(supervised reflection) 베이스라인을 능가했습니다. 고정된 쌍이나 동일한 학습 시간을 적용한 대조군 실험은 이러한 성능 향상이 추가 데이터나 학습량이 아닌 ACT 목적 함수 자체에서 기인함을 보여줍니다. 추론 특화 사후 학습을 거치지 않고도 독립형 ACT 체크포인트는 MATH-500 및 GPQA-Diamond에서 평가된 모델 중 가장 높은 평균 점수를 달성하여, 행동 비교가 생성을 보완함을 입증합니다.
자기 회고 증류: 사후 경험을 사전 예측력으로 전환하기
Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
검증 가능한 보상을 활용한 강화학습(RLVR)은 주로 상호작용 후의 스칼라 결과 보상을 통해 에이전트 경험을 학습 신호로 전환합니다. 그러나 그룹 상대적 목적 함수의 경우, 모든 롤아웃이 동일한 보상을 받으면 해당 궤적이 작업에 필요한 요소와 에이전트가 실패하는 방식에 대한 유용한 정보를 드러낼 수 있음에도 불구하고 이러한 신호가 사라집니다. 우리는 이와 상호보완적인 질문을 던집니다. 사후적 통찰(hindsight)이 에이전트에게 행동하기 전에 무엇을 예측할 수 있었는지를 가르쳐줄 수 있을까요? 우리는 상호작용 이전 시점에서의 예측을 지도하기 위해 사후 경험을 사용하는 전향적 학습(prospective learning)을 도입하고, 이를 자기 회고 증류(Self-Retrospection Distillation, SRD)로 구체화합니다. 직관적으로 완료된 궤적은 유용했을 지식과 피해야 했을 함정을 드러내며, SRD는 이 특권적 사후 통찰을 동일한 정책의 궤적 비인지 사전 예측으로 증류합니다. 사전 예측은 학습 목표로만 기능하며 추론 시 명시적으로 생성될 필요가 없습니다. 10가지 도구 통합 추론 및 장기적 에이전트 작업 전반에서, SRD는 RLVR 및 자기 증류 베이스라인을 보완하여 최대 24.2%p의 성능 향상을 달성합니다. 특히 모델 규모 전반에 걸쳐 롤아웃 그룹의 37~98%가 균일한 보상을 보여 보상 대조가 부족한 경우에도 SRD는 샘플링된 궤적으로부터 학습 신호를 활용할 수 있어 그 이점이 두드러집니다. 그룹의 98%가 전면 실패하는 2B 설정에서 RLVR 학습은 0.0%의 성공률로 끝나는 반면, 동일한 롤아웃 예산 하에서 SRD를 추가하면 60.6%에 도달합니다. 우리의 결과는 사후 에이전트 경험이 행동을 평가하거나 개선하는 것뿐만 아니라 상호작용 이전에 예측적 표현을 형성하는 데에도 유용함을 시사합니다.
VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
RLVR에서 해법 모드 붕괴의 측정 및 완화
Measuring and Mitigating Solution Mode Collapse in RLVR
언어 모델(LM)은 대개 동일한 질문에 대해 여러 방식으로 답할 수 있지만, 검증 가능한 보상을 활용한 강화학습(RLVR)은 모델이 어떤 정답을 생성하든 개의치 않습니다. 익숙한 답의 1,000번째 복사본이든 모델이 이전에 한 번도 생성한 적 없는 답이든, 정답인 해법은 동일한 보상을 받게 됩니다. 그러나 모델이 학습(training)되면서 여러 올바른 해법을 유지하도록 하는 것에는 잠재적인 가치가 있습니다. 예를 들어, 다중 모드(mode)는 사용자에게 선택권을 제공하고 전반적인 모델 성능을 향상시키는 문제 해결 전략을 제공할 수 있습니다. 본 논문에서는 검증기(verifier)가 정확도와 발견된 모드를 모두 반환하는 다중 해법 작업 벤치마크인 ModeBench를 소개합니다. 그런 다음 ModeBench를 사용하여 RLVR 사후 학습(post-training) 과정에서 해법의 다양성이 어떻게 변화하는지 측정합니다. 그 결과, 정확도가 유지되거나 향상되더라도 RLVR 사후 학습은 더 적은 수의 정답 모드로 확률을 집중시키며, 나아가 최신 프론티어(frontier) 모델들은 이미 고도로 집중되어 있음을 발견했습니다. 이에 따라 발견된 모드당 검증된 예시 하나를 리플레이 버퍼(replay buffer)에 저장하고 저장된 모드들을 균등하게 학습하는 해법인 Re:Max를 제안합니다. 따라서 한 번 발견된 해법도 반복해서 발견된 해법만큼 자주 연습됩니다. 세 가지 모델 스케일, 두 가지 RL 목적 함수, 그리고 더 어려운 작업 구성 전반에 걸쳐, 리플레이는 정책(policy)의 성공 빈도뿐만 아니라 성공할 수 있는 서로 다른 방식의 다양성 또한 개선함을 확인했습니다.
High-Throughput Distributed Reinforcement Learning via Adaptive Policy Synchronization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.