PyTorchKR Papers

최신 논문

총 41편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.07764v2cs.LG

선호도 조건부 다목적 강화학습: 분해된, 다양성 기반 정책 최적화

Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization

다목적 강화학습(MORL)은 상충하는 목표들을 균형 있게 처리할 수 있는 에이전트를 학습시키는 것을 목표로 한다. 단일 선호도 조건부 정책은 확장성이 뛰어난 해법을 제공하지만, 기존 접근법들은 실제 환경에서 취약하여 밀도 있는 파레토 프론트(Pareto front) 복원에 자주 실패한다. 우리는 이러한 실패가 두 가지 구조적 병리에서 비롯됨을 보인다: 조기 스칼라화(Early Scalarization, ES)로 인한 파괴적 어드밴티지 상쇄(destructive advantage cancellation), 그리고 선호도 공간 전반에 걸친 표현 모드 붕괴(representational mode collapse). 이 병목을 극복하기 위해, 우리는 다목적 최적화를 근본적으로 재구성하는 PPO 기반 프레임워크인 $D^3PO$를 제안한다. 분해된 파이프라인을 통해 목표별 학습 신호를 보존하고, 신뢰 영역 안정화 이후에만 선호도를 통합하는 후기 단계 가중치(Late-Stage Weighting)를 적용함으로써, $D^3PO$는 상충하는 목표 하에서의 크레딧 할당(credit assignment)을 개선한다. 동시에, 스케일링된 다양성 정규화기(diversity regularizer)가 선호도 거리에 비례한 행동적 발산을 장려한다. $D^3PO$는 표준 심층 MORL 기준선과 공유되는 효율적인 선형 스칼라화(linear scalarization) 체계 내에서 완전히 작동한다. 비용이 큰 비선형 효용 함수에 의존하는 대신 선형 스칼라화로 인한 정보 손실을 줄임으로써, 최적화 병목이 중요한 역할을 한다는 점을 시사한다. 고차원 및 다수 목표 환경을 포함한 가용한 표준 벤치마크 전반에 걸쳐, $D^3PO$는 단일 배포 가능 정책을 사용하여 기존 방법보다 더 넓고 높은 품질의 파레토 프론트를 일관되게 발견하며, 최첨단(state-of-the-art) 하이퍼볼륨(hypervolume) 및 기대 효용(expected utility)을 초과한다.

arXiv:2607.03126v2cs.LG

ACPO: 세밀한 대리 엔트로피를 통한 적응형 크레딧 정책 최적화

ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy

희소한 결과 보상 환경에서 발생하는 토큰 수준 크레딧 할당(credit assignment) 문제를 해결하기 위해, 기존 엔트로피 기반 접근법의 최적화 불일치를 개선한 모드 국소 대리 엔트로피(mode-local surrogate entropy) 기반 프레임워크인 ACPO를 제안한다. ACPO는 성공한 롤아웃에서는 불확실한 토큰을 강조하고 실패한 롤아웃에서는 과신뢰 토큰을 억제하는 비대칭 정책 업데이트를 적용하며, AIME 2025 및 HumanEvalPro 등 수학 추론·코딩 벤치마크에서 DAPO, GTPO, SAPO 등 강력한 RL 기준 모델 대비 일관된 성능 향상을 보인다.

arXiv:2604.00860v5cs.LG

정책 개선 강화학습

Policy Improvement Reinforcement Learning

기존 RL 사후학습 방법들이 현재 배치의 보상으로만 정책을 업데이트하는 개루프(open-loop) 구조의 한계를 지적하며, 반복 간 성능 향상 자체를 명시적 목표로 삼는 PIRL(Policy Improvement Reinforcement Learning) 프레임워크와 이를 기반으로 한 폐루프(closed-loop) 플러그인 알고리즘 PIPO를 제안한다. PIPO는 슬라이딩 윈도우 방식의 과거 성능 앵커와 비교해 업데이트 효과를 검증하고, PPO·GRPO·SDPO 등 다양한 정책 최적화 계열에서 수학적 추론, 코드, 도구 사용 태스크 전반에 걸쳐 일관된 성능 향상을 달성했다.

arXiv:2606.04935v4cs.AI

What Type of Inference is Active Inference?

Active inference casts decision-making as inference, with the Expected Free Energy (EFE) unifying goal-directed and information-seeking behavior. Recent work showed that EFE minimization can be written as Variational Free Energy (VFE) minimization on a generative model augmented with epistemic priors. We prove that the VFE of the augmented model can be rewritten as the VFE of the predictive model plus explicit entropy-correction terms, making the EFE contribution transparent. We then show that proper EFE-based planning requires combining these epistemic corrections with a planning correction that turns marginal inference into policy optimization, yielding a full variational characterization of EFE-based planning. This clarifies which corrections are needed for cross-entropy planning and for full EFE-based planning. The same entropy-corrected formulation leads to a detailed message-passing scheme for EFE-based planning together with simpler ablations. Experiments on three grid-world environments show that full EFE-based planning outperforms ablations that omit either the planning correction or the epistemic corrections.

arXiv:2607.05339v1cs.LG

TREK: 탐험을 위한 증류, 정제를 위한 강화

TREK: Distill to Explore, Reinforce to Refine

GRPO는 학생 모델의 온-정책 지지 범위 밖에 정답 모드가 있는 어려운 프롬프트에서 정체되는 문제를 해결하기 위해, TREK은 지식 증류를 모방이 아닌 탐험 지지 범위 확장 수단으로 활용하는 단계적 프레임워크를 제안한다. 교사 모델(블랙박스·화이트박스 모두 지원)로부터 검증된 후보 궤적을 선별해 순방향 KL로 학생 모델의 지지 범위를 확장한 뒤 표준 GRPO 정제로 복귀하는 방식으로, Qwen3-8B 기준 AIME 2025에서 36.9→40.3, ALFWorld에서 75.8→82.8의 성능 향상을 달성했다.

arXiv:2607.04713v1cs.LG

RSPO: 멀티턴 LLM 에이전트를 위한 보상 교환 정책 최적화

RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents

멀티턴 LLM 에이전트 학습 시 희소한 결과 보상(outcome reward)의 느린 수렴 문제를 해결하기 위해, 밀집 과정 보상(dense process reward)으로 학습된 Agent B가 다양한 궤적을 탐색한 뒤 이를 결과 보상 기반으로 Agent A를 업데이트하는 보상 교환 메커니즘인 RSPO를 제안한다. WebShop과 ALFWorld 벤치마크에서 GRPO, PPO, GiGPO 등 다양한 강화학습 알고리즘에 적용한 결과, 일관된 성능 향상을 달성하였다.

arXiv:2607.04728v1cs.CL

오프-정책 토큰을 온-정책으로 전환하기: LLM 정렬 개선을 위한 플러그인 접근법

Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

대규모 언어 모델(LLM)을 위한 강화학습(RL) 사후 학습은 "롤아웃 후 업데이트"라는 효율적인 패러다임을 따르며, 이는 필연적으로 오프-정책 학습 데이터를 발생시킨다. 이를 해결하기 위해 중요도 샘플링(Importance Sampling, IS)이 제안되었으나, 토큰 수준의 비율이 긴 시퀀스에 걸쳐 누적되면서 심각한 분산 폭발을 초래한다. 자연스러운 아이디어는 오프-정책 토큰을 온-정책 토큰으로 "전환"하여 보정을 위한 중요도 점수를 불필요하게 만드는 것이다. 이 아이디어에 착안하여, 우리는 거부 샘플링에서 영감을 받은 선택적 중요도 샘플링(Selective Importance Sampling, SIS)을 제안한다. 구체적으로, SIS는 오프-정책 모델을 제안 분포로 간주하고 토큰 수준의 거부 테스트를 수행하는 방식으로 구현된다. 수락된 토큰은 온-정책으로 간주되어 단위 중요도 점수를 받고, 거부된 토큰은 표준 IS 보정을 유지한다. 제안된 SIS는 토큰 수준과 시퀀스 수준 오프-정책 그래디언트 추정량 간의 격차를 줄임이 이론적으로 증명되었다. SIS는 정책 손실에서 중요도 비율만 수정하는 플러그인으로 작동하여 무시할 수 있는 수준의 실행 시간 오버헤드를 추가하며, 다양한 RL 사후 학습 알고리즘과 결합할 수 있다. 수학 및 에이전트 벤치마크에서 밀집 모델과 전문가 혼합(MoE) LLM을 대상으로 한 실험에서 SIS는 모든 목표에서 일관된 성능 향상을 보이며, 오프-정책 데이터 환경에서 실질적으로 더 강한 견고성을 제공함을 입증한다.

arXiv:2607.04963v1cs.AI

STAPO: LLM 에이전트 학습을 위한 선택적 궤적 인식 정책 최적화

STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training

강화학습(RL)은 장기 과제에서 대규모 언어 모델(LLM) 에이전트를 학습시키는 주류 패러다임이다. 그러나 희소하고 지연된 보상은 종종 궤적 무시(trajectory neglect)로 이어지며, 이는 에이전트가 중간 단계에서 과제 목표와 상호작용 이력에 대한 집중력을 잃는 현상이다. 기존 연구에서는 섀넌 엔트로피 기반 불확실성 신호를 활용한 스텝 수준 감독을 탐구했으나, 이 방법은 상태의 내재적 복잡성과 에이전트의 신뢰도를 혼동하여 의사결정 신뢰성을 불안정하게 추정하는 문제가 있다. 이를 해결하기 위해 우리는 정규화 엔트로피(normalized entropy)를 제안한다. 정규화 엔트로피는 주어진 상태에서 에이전트의 평균 행동 대비 신뢰도 편차를 측정함으로써, 낮은 품질의 행동과 궤적 무시 간의 연관성을 강화한다. 이 통찰을 바탕으로 우리는 계층적 그룹 기반 RL 프레임워크인 선택적 궤적 인식 정책 최적화(STAPO)를 제안한다. STAPO는 정규화 엔트로피를 활용해 궤적 무시와 관련된 이상 스텝을 찾아내고, 궤적 인식 보상과 궤적 독립 패널티의 결합 메커니즘을 통해 이를 최적화함으로써 궤적 인식을 강화하는 동시에 학습 안정성을 유지한다. ALFWorld, WebShop, Search-Augmented QA에 대한 광범위한 실험을 통해 STAPO가 최고 수준의 성능을 달성하면서 궤적 무시를 크게 완화함을 입증하였으며, 에이전트 과제에 대한 효과성과 강건성을 검증하였다.

arXiv:2607.04242v1cs.AI

에이전틱 강화학습을 위한 진행도 및 신뢰성 지향 그룹 정책 최적화

Progress- and Reliability-Oriented Group Policy Optimization for Agentic Reinforcement Learning

그룹 기반 강화학습(RL)은 장기 상호작용 태스크에서 대규모 언어 모델 에이전트를 개선하는 효과적인 패러다임으로 자리 잡았다. 트래젝토리 수준 최적화보다 세밀한 정책 업데이트를 얻기 위해, 최근 연구들은 롤아웃 배치 내에서 중간 단계들을 그룹화하고 비교하는 단계 수준 그룹 기반 RL로 나아가고 있다. 그러나 단계 수준 어드밴티지 추정은 그룹 구성 방식에 민감하다. 넓은 상태 키로 그룹화하면 커버리지는 향상되지만 서로 다른 히스토리에서 취한 행동을 비교하게 될 수 있고, 히스토리 일관성을 강제하면 비교가 더 공정해지지만 단편적인 그룹과 피어 비교 신호 손실이 발생한다. 본 논문에서는 맥락 일관적인 단계 수준 학습을 위한 학습된 크리틱 불필요 방법인 ProGPO(Progress- and Reliability-Oriented Group Policy Optimization)를 제안한다. ProGPO는 정확한 접두 문맥 행동 비교를 유지하면서, 롤아웃 기반 상태 포텐셜에서 도출한 전이 크레딧으로 희소한 피어 비교를 보완한다. 이 포텐셜을 신뢰성 있게 추정하기 위해, ProGPO는 히스토리 깊이에 따른 역분산 융합과 의미론적 확장을 결합한다. 우리는 Qwen2.5-1.5B-Instruct를 사용하여 ALFWorld와 WebShop이라는 두 가지 도전적인 에이전틱 태스크에서 ProGPO를 평가한다. 실험 결과, ProGPO는 유사한 연산 오버헤드 하에서 동일 조건의 에이전틱 RL 베이스라인 대비 성능이 향상됨을 보여주며, 추가적인 Qwen2.5-3B-Instruct 실험을 통해 제안 방법의 확장성을 추가로 검증한다.

arXiv:2607.02440v1cs.AI

EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments

EvoPolicyGym은 에이전트가 제한된 상호작용 예산 내에서 실행 가능한 강화학습(RL) 정책을 반복적으로 수정·개선하는 능력을 평가하는 벤치마크로, 단순한 최종 점수가 아닌 궤적 수준의 진단을 통해 자율적 정책 진화(Autonomous Policy Evolution) 과정을 측정한다. Core16 스위트(16개 환경) 실험에서 GPT-5.5가 가장 높은 종합 순위 점수를 기록했으며, Claude Opus 4.7은 MiniGrid 계열에서 최고 성능을 보였다.

arXiv:2606.30420v1cs.LG

LLM 추론을 위한 경험 증강 정책 최적화

Experience Augmented Policy Optimization for LLM Reasoning

RLVR(검증 가능한 보상을 활용한 강화학습)의 기존 온-정책 최적화가 고정된 추론 궤적 재사용으로 인한 정책 불일치 문제를 겪는다는 점에 착안하여, EAPO(Experience-Augmented Policy Optimization)는 사전에 강화학습으로 최적화된 정책을 행동 수준 경험 사전(prior)으로 활용해 롤아웃 중 핵심 의사결정 지점에 선택적으로 경험을 주입하는 방법을 제안한다. Qwen-2.5-math 7B와 Qwen-3-8B를 대상으로 5개 벤치마크에서 실험한 결과, EAPO는 최신 RLVR 방법들 대비 추론 성능을 일관되게 향상시켰다.

arXiv:2606.29758v1cs.LG

PS-PPO: 비평가 없는 RLHF를 위한 접두 문맥 샘플링 PPO

PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF

기존 비평가 없는(critic-free) RLHF 방법들이 전체 생성 궤적에 걸쳐 균일하게 학습 신호를 전파해 긴 추론 경로에서 과도한 계산 비용이 발생하는 문제를 해결하기 위해, PS-PPO는 프롬프트 조건부 컷오프 분포를 도입해 각 궤적의 접두 문맥(prefix)까지만 역전파하되 중요도 가중치 보정으로 불편향 추정을 보장한다. 수학적 추론 및 RLHF 벤치마크 실험에서 PS-PPO는 기존 비평가 없는 기준 방법과 유사한 정확도를 유지하면서 학습 계산량과 최대 GPU 메모리를 크게 절감하는 것으로 나타났다.

arXiv:2606.29526v1cs.LG

학습 정책 최적화의 신기루: LLM 강화학습의 실질적 목표로서의 단조 추론 정책

The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

LLM 강화학습(RL) 사후학습에서 학습 엔진과 추론 엔진의 구현 차이로 발생하는 학습-추론 불일치(training-inference mismatch) 문제를 다루며, 기존 연구들이 학습 정책 개선에만 집중한 반면 실제 배포에 사용되는 추론 정책의 단조적 개선을 목표로 하는 새로운 원칙인 MIPI(Monotonic Inference Policy Improvement)를 제안한다. 이를 구현한 2단계 프레임워크 MIPU는 샘플러 참조 업데이트와 추론 측 갭 프록시 기반의 수용 기준을 결합하여, FP8 양자화 롤아웃 환경에서 Qwen3-4B 및 Qwen3-1.7B 모델에 대해 추론 성능과 학습 안정성을 향상시킨다.

arXiv:2606.29476v1cs.LG

CRAFT: 자기 증류 에이전틱 강화학습을 위한 무비용 형제 롤아웃 기반 반사실적 크레딧 할당

CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning

CRAFT는 자기 증류 에이전틱 강화학습에서 기존 단일 스칼라 게이팅 방식의 두 한계—회고적 신호와 부호 불감성—를 해결하기 위해, GRPO가 이미 샘플링하는 형제 롤아웃을 재활용한 반사실적 토큰 중요도(CTI), 비대칭 적응형 컨트롤러, 토큰별 방향 양극화 KL 패널티라는 세 기둥으로 구성된 크레딧 할당 방식을 제안한다. 각 기둥은 독립적으로 비활성화 시 기준선과 바이트 단위 동일한 결과를 보장하며, 세 가지 에이전틱 환경과 네 가지 모델 스케일에 걸친 실험을 통해 그 효과를 검증한다.

arXiv:2606.28707v1cs.AI

BV-Blend: Uncertainty-Weighted Historical Baselines for Stable Critic-Free RL with Verifiable Rewards

Critic-free reinforcement learning with verifiable rewards (RLVR), exemplified by Group Relative Policy Optimization (GRPO), avoids training a value function (critic) and reduces memory and compute overhead relative to critic-based PPO pipelines for aligning large language models. However, GRPO-style advantage estimation depends on prompt-local (within-prompt-group) reward statistics and can be unstable. In particular, when all rollouts in a prompt group receive identical rewards, the within-group reward variance becomes zero, and group normalization yields zero advantages for that group, impeding learning in cold-start regimes with binary verifiers. We introduce BV-Blend, a critic-free framework that stabilizes advantage estimation by combining prompt-local on-policy statistics with semantic-cluster-conditioned historical moments. BV-Blend maintains EMA-tracked reward moments for each cluster, derives a confidence weight from a standard error of the mean (SEM) proxy, and uses this weight to blend historical and prompt-local baseline and variance statistics into a standardized advantage for PPO-style clipped updates. Experiments on verifiable reasoning benchmarks show that BV-Blend improves training stability and performance, and remains robust in regimes where group-normalized methods may stall.

arXiv:2606.24064v1cs.AI

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

Distilling reasoning capabilities from strong to weak language models typically involves imitating specific solution trajectories, effectively transferring what to answer rather than how to reason. This trajectory-level imitation encourages memorization of instance-specific steps rather than acquisition of transferable problem-solving skills, limiting generalization to novel problems. We propose Strategy-Guided Policy Optimization (SGPO), which replaces instance-level trajectory imitation with reusable strategy distillation. SGPO extracts structured strategy descriptions from strong-model responses and, for each problem, constructs both autonomous and strategy-guided trajectories to enable direct comparison of the model's behavior with and without strategic guidance. The framework then addresses two key questions. For how to distill, a token-level forward-KL objective selectively transfers the distributional shift induced by strategy conditioning into the unguided policy, with proximal constraints ensuring stability. For when to distill, adaptive instance-level weighting strengthens guidance when autonomous exploration falls short and reduces it as the model's own competence grows. Experiments on four mathematical benchmarks across two model families show that SGPO consistently outperforms SFT, on-policy RL, and hybrid-policy baselines, improving the average score by 2.2 points over the strongest baseline on Qwen2.5-7B-Instruct. Analysis reveals that the forward-KL objective provides an inherently selective distillation signal that outperforms direct trajectory imitation, and that strategy distillation exhibits complementary scaling with base model capability.

arXiv:2606.18844v1cs.LG

자신의 실수로부터 학습하기: 자기 증류를 위한 학습 가능한 미세 반성 궤적 구성

Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation

기 증류(self-distillation)의 KL 기반 암시적 분포 정렬 한계를 넘어, 동일 쿼리의 정·오답 롤아웃 대비로 실패 지점까지의 오류 추론에 자연어 진단과 수정을 삽입한 미세 반성(micro-reflective) 학습 궤적을 구성하는 Trajectory-Augmented Policy Optimization(TAPO)을 제안한다. AIME 2024·2025와 HMMT 2025에서 동일 학습 스텝 수 기준 GRPO 대비 일관된 성능 향상을 보였고, 첫 패스 추론과 오류 수정 능력을 함께 강화한다.

arXiv:2606.18954v1cs.CL

GraphPO: 추론 모델을 위한 그래프 기반 정책 최적화

GraphPO: Graph-based Policy Optimization for Reasoning Models

검증 가능한 보상 강화학습(RLVR)에서 독립·트리 기반 롤아웃의 중복 탐색과 희소 보상 한계를 줄이기 위해 GraphPO가 추론 롤아웃을 DAG로 표현하고 의미적으로 동등한 추론 경로를 병합해 접미사를 공유하며, 들어오는·나가는 에지에 효율성·정확성 어드밴티지를 부여하는 그래프 기반 정책 최적화 프레임워크를 제안한다. 이론적으로 어드밴티지 추정 분산을 낮추고 추론 효율을 높이며, 세 가지 LLM의 추론·에이전트 검색 벤치마크에서 동일 토큰·응답 예산 대비 체인·트리 기준 모델을 일관되게 능가한다.

arXiv:2603.00656v2cs.AI

InfoPO: 사용자 중심 에이전트를 위한 정보 기반 정책 최적화

InfoPO: Information-Driven Policy Optimization for User-Centric Agents

실제 환경에서 LLM 에이전트에 대한 사용자 요청은 종종 불충분하게 명세된다. 에이전트는 누락된 정보를 획득하고 올바른 후속 결정을 내리기 위해 상호작용해야 한다. 그러나 현재의 다중 턴 GRPO 기반 방법들은 트레젝토리 수준의 보상 계산에 의존하는 경우가 많아, 크레딧 할당 문제와 롤아웃 그룹 내 불충분한 어드밴티지 신호를 초래한다. 실행 가능한 접근법은 더 세밀한 수준에서 가치 있는 상호작용 턴을 식별하여 보다 목표 지향적인 학습을 유도하는 것이다. 이를 해결하기 위해 우리는 InfoPO(Information-Driven Policy Optimization)를 제안한다. InfoPO는 다중 턴 상호작용을 능동적 불확실성 감소 과정으로 정의하고, 마스킹된 피드백 반사실과 비교하여 에이전트의 후속 행동 분포를 측정 가능하게 변화시키는 턴에 크레딧을 부여하는 정보 이득 보상을 계산한다. 이후 적응형 분산 게이팅 융합(adaptive variance-gated fusion)을 통해 이 신호를 태스크 결과와 결합함으로써 정보 중요도를 식별하는 동시에 태스크 지향적 목표 방향을 유지한다. 의도 명료화, 협업 코딩, 도구 증강 의사결정을 포함한 다양한 태스크에서 InfoPO는 프롬프팅 및 다중 턴 강화학습(RL) 기반 방법들을 지속적으로 능가한다. 또한 사용자 시뮬레이터 변화에 대한 강건성을 보이며 환경 상호작용 태스크에도 효과적으로 일반화된다. 전반적으로 InfoPO는 복잡한 에이전트-사용자 협업을 최적화하기 위한 원칙적이고 확장 가능한 메커니즘을 제공한다. 코드는 https://github.com/kfq20/InfoPO 에서 확인할 수 있다.

arXiv:2505.15201v5cs.LG

Pass@K 정책 최적화: 더 어려운 강화학습 문제 해결

Pass@K Policy Optimization: Solving Harder Reinforcement Learning Problems

강화학습(RL) 알고리즘은 각 문제에 대해 n>1개의 해결 시도를 샘플링하고 이를 독립적으로 보상합니다. 이는 pass@1 성능을 최적화하며, 샘플 집합의 다양성과 집합적 유용성을 희생시키면서 개별 샘플의 강도를 우선시합니다. 이로 인해 샘플링 용량이 충분히 활용되지 못하고, 탐험이 제한되며 더 어려운 예제에서의 개선도 저해됩니다. 이를 해결하기 위해, 우리는 최종 보상에 변환을 적용하여 pass@k 성능을 직접 최적화하는 Pass-at-k Policy Optimization(PKPO)을 제안합니다. PKPO는 공동으로 고려될 때 보상을 최대화하는 샘플 집합을 최적화합니다. 우리의 기여는 이진 및 연속 보상 설정 모두에서 pass@k와 그 그래디언트에 대한 새로운 저분산 불편 추정량을 유도한 것입니다. 우리는 이 추정량을 사용한 최적화가, 안정적이고 효율적인 변환 함수에 의해 보상이 공동으로 변환된 표준 강화학습으로 귀결됨을 보입니다. 기존 연구들이 k=n으로 제한된 반면, 우리의 방법은 임의의 k <= n에 대한 pass@k의 강건한 최적화를 최초로 가능하게 합니다. 또한, pass@1 성능을 희생하여 pass@k 이득을 얻는 방식 대신, 우리의 방법은 학습 중 k를 어닐링하여 두 지표를 모두 최적화하며, 상당한 pass@k 향상과 함께 높은 pass@1 수치를 함께 달성하는 경우가 많습니다. 우리는 간단한 실험을 통해 보상 변환을 검증하며, 이는 우리 공식화의 분산 감소 특성을 드러냅니다. 또한 오픈소스 대규모 언어 모델(LLM)인 GEMMA-2를 사용한 실제 사례도 포함합니다. 우리의 변환이 목표 k에 대해 효과적으로 최적화함을 확인하였습니다. 더 높은 k 값은 더 많고 어려운 문제를 해결할 수 있게 하며, k를 어닐링하면 pass@1과 pass@k 모두 향상됩니다. 결정적으로, 기존의 pass@1 최적화가 정체되는 어려운 과제 집합에서, 우리의 pass@k 접근법은 개별 샘플의 유용성보다 공동 유용성을 우선시함으로써 더 나은 탐험을 가능하게 하여 학습을 재개시킵니다.