arXiv:2607.25970v2 cs.LG

코드 최적화를 위한 강화학습

Reinforcement Learning for Code Optimization

Pierre Chambon, Kunhao Zheng, Juliette Decugis, Benoit Sagot, Gabriel Synnaeve

제출 2026-07-28

저자 비고

arXiv Comments

126 pages

한국어 초록

코드 정확성을 위한 강화학습(RL)은 이제 확립되었습니다. 즉, 모델이 프로그램을 생성하게 하고, 숨겨진 테스트 케이스에 대해 실행한 다음, 통과한 솔루션에 보상을 제공하는 방식입니다. 이를 코드 최적화로 확장하는 것은 간단해 보입니다. 보상에 실행 시간만 추가하면 되기 때문입니다. 하지만 실제로는 타이밍이 보상을 주도하기 시작하면 측정 노이즈, 보상 희소성(sparsity), 또는 GRPO 불안정성의 작은 문제들이 신호를 압도하여 RL을 실패하게 만듭니다. 즉, 생성된 솔루션의 속도는 거의 빨라지지 않으며, 더 많은 솔루션이 실패할 수 있습니다. 본 연구에서는 세 단계를 통해 실행 시간을 학습 가능하게 만듭니다. (1) 대규모 최적화 테스트와 보정된 샌드박스를 갖춘 DMC-Optim을 구축하여 코드를 테스트하는 방법, (2) RL 환경에서 정확성과 속도를 결합하고 오프라인 시뮬레이터를 사용하여 가장 유망한 구성을 예측함으로써 속도를 보상으로 변환하는 방법, (3) 더 희소하고 노이즈가 많은 시간 측정 실행 환경에 GRPO와 평가를 적응시켜 모델이 해당 보상으로부터 학습하는 방법입니다. DMC-Optim에서 가장 강력한 최적화 인식 구성은 엄격한 상위 50% pass@1을 Qwen 2.5 7B에서 18.0%에서 31.3%로, CWM 32B에서 30.7%에서 50.4%로 향상시킵니다. 이러한 이득은 상위 30%와 같은 더 엄격한 백분위수에서 더욱 증가하여 순수 정확성 점수를 유지하면서도 CWM 32B의 경우 125%의 상대적 개선을 보입니다. 타이밍 샌드박스의 성능이 저하되었을 때도 강건한 최적화 RL은 평가 기준에 따라 표준 RLVR 대비 100%에서 200%의 개선을 달성합니다. LCB에서 CWM 32B는 표준 RLVR과의 중앙값 샘플 속도 비교에서 최대 83% 승리합니다. 문제당 가장 빠른 인간 정답 제출과 비교했을 때, 복잡도 클래스(complexity-class) 개선율에서 인간 수준의 약 절반에 도달합니다(13% 대 22%).

원문 초록

RL for code correctness is now established: have the model generate a program, run it against hidden test cases, and reward solutions that pass. Extending this to code optimization seems straightforward: just add execution time to the reward. But in practice, once timing drives the reward, small problems in measurement noise, reward sparsity, or GRPO instability overwhelm the signal and make RL fail: generated solutions are barely faster, and more of them can fail. We make execution time learnable through three stages: (1) how code is tested, by building DMC-Optim with large optimization tests and a calibrated sandbox; (2) how speed is turned into reward, by composing correctness and speed in the RL environment and using an offline simulator to predict the most promising configurations; and (3) how the model learns from that reward, by adapting GRPO and evaluation to the sparser, noisier timed-execution setting. On DMC-Optim, the strongest optimization-aware configurations improve strict top-50% pass@1 from 18.0% to 31.3% on Qwen 2.5 7B and from 30.7% to 50.4% on CWM 32B. These gains further increase at stricter percentiles such as top-30%, with 125% relative improvement for CWM 32B, while preserving pure-correctness scores. When the timing sandbox is degraded, robust optimization RL reaches 100% to 200% improvement over standard RLVR, depending on the evaluation criterion. On LCB, CWM 32B wins up to 83% of median-sample speed comparisons against standard RLVR. Relative to the fastest correct human submissions per problem, it reaches about half the human rate of complexity-class improvements (13% vs. 22%).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.25970v2
  2. arXiv:2607.25970v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Reinforcement Learning (RL), grpo

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15778v1cs.LG공통 태그 Reinforcement Learning (RL), grpo

판사 해킹의 속도는 무엇이 결정하는가? 판사 능력 대 정책-판사 간 격차

Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap

동결된 무참조(reference-free) LLM 판사(judge)를 대상으로 GRPO를 통해 정책(policy)을 학습시킬 때 판사는 더 많은 답변을 수용하지만, 사후 분석 결과 홀드아웃 탐욕적 정확도(held-out greedy accuracy)에서는 아무런 이득도 감지되지 않았습니다. 총 12개의 (정책, 판사) 조합 전체에서 시드 평균 이득은 결코 0.04를 넘지 않았습니다. 동일한 방식으로 정답 보상(gold-reward)을 적용한 대조군에서는 1.5B 정책의 탐욕적 정확도가 +0.054 [0.013, 0.096] 상승했으므로, 이 정책에서 나타난 평탄한 정확도는 판사 보상에 특화된 현상입니다. 반면 0.5B 정책의 경우 정답 보상에서도 감지 가능한 이득이 없었습니다. 확인된 상승세를 보인 네 개 조합에서 학습-롤아웃(training-rollout) 정확도의 초기 상승은 정답 보상 조건에서와 마찬가지로 대부분 샘플링 첨예화(sampling sharpening)에 기인했습니다. 이어서 강화학습(RL)이 판사의 위양성(false positive)을 악용하는 범위와 속도를 결정하는 것이 정책-판사 간 격차인지, 아니면 판사 자체인지를 질문합니다. 0.5B 및 1.5B Qwen2.5 정책을 크기가 최소 동등 이상인 네 가지 판사(Qwen2.5-1.5B/3B/7B, Llama-3.2-3B)에 대해 학습시키고, 1.5B 정책은 더 작은 하나의 판사(Qwen3-0.6B)에 대해서도 학습시켰습니다. 판사 해킹의 깊이(정체기, plateau)는 판사를 따랐습니다. 이는 판사 AUC와 상관관계(12개 조합에서 스피어만 상관계수 -0.69 [-0.94, -0.14])를 보였으며, 동일 계열 내에서는 더 큰 판사가 덜 심하게 속았습니다. 속도(시작 시점, onset)의 경우, 사전에 지정된 두 쌍이 격차 기반 설명과 상충했습니다(사전 지정된 임계값에서 격차가 더 큰 조합이 3.5배 더 일찍 속았습니다). 12개 조합으로는 어느 평가 지표에서도 판사 AUC와 격차를 공식적으로 분리해낼 수 없습니다. 더 작은 판사는 계열과 템플릿에서도 차이가 나긴 하지만, 정책만큼 큰 판사보다 더 일찍 속아 넘어가지 않았습니다. 홀드아웃된 세 판사에 대한 블라인드 테스트에서 해시 잠금된 스텝-0 예측기는 스텝-0 AUC를 능가하지 못했으나, 세 개 조합으로는 둘을 분리해 비교할 수 없습니다. 7-8B 규모에서 세 개 계열의 판사들은 0.37, 0.67, 0.85에서 정체기에 도달했습니다.

arXiv:2610.15840v1cs.LG공통 태그 Reinforcement Learning (RL), grpo

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.15888v1cs.LG공통 태그 Reinforcement Learning (RL), grpo

검증 가능한 보상을 활용한 강화학습을 위한 분산-최적 상태 리샘플링

Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards

검증 가능한 보상을 활용한 강화학습(RL)은 롤아웃 예산의 상당 부분을 학습 신호를 제공하지 않는 상태에 소비합니다. 본 연구에서는 이를 샘플링 분포 자체에 대한 질문으로 재구성합니다. 즉, 고정된 롤아웃 예산 하에서 어떤 상태 분포가 정책 그래디언트 추정량의 분산을 최소화하는가 하는 점입니다. 이에 대한 해답은 닫힌 형식(closed-form)의 네이만 배분(Neyman allocation), $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$으로 도출되며, 이는 GRPO의 그룹 상대적 이점(group-relative advantage)과 자연스럽게 연결되고 외재적으로 부과된 스케줄 없이도 정책이 향상됨에 따라 창발적인 역방향 커리큘럼(reverse curriculum)을 유도합니다. 이러한 원리를 바탕으로, 접두 문맥(prefix) 재생 버퍼와 비용이 들지 않는 분산 프록시를 사용하는 GRPO의 플러그인 수정 기법인 VSR(Variance-driven State Resampling)을 제안합니다. 수학적 추론 벤치마크 및 긴 주기의 에이전트(agentic) 과제(Sokoban, BabyAI)에서 VSR은 업데이트당 생성되는 토큰 수를 줄이면서도 대부분의 벤치마크에서 GRPO 및 GiGPO보다 우수한 성능을 달성합니다.

arXiv:2610.15894v1cs.LG공통 태그 Computational Efficiency, Code Generation

모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습

Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair

대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.

arXiv:2610.13353v1cs.MM공통 태그 Reinforcement Learning (RL), grpo

EmoGavel: 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반 그라운딩 인식 강화학습

EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning

멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.