arXiv:2602.05999v4 cs.LG

On the Role of Computation in Reinforcement Learning

Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach

제출 2026-02-05

원문 초록

How does the amount of compute available to a reinforcement learning (RL) policy affect its learning? Can policies using a fixed amount of parameters, still benefit from additional compute? The standard RL framework does not provide a language to answer these questions formally. Empirically, deep RL policies are often parameterized as neural networks with static architectures, conflating the amount of compute and the number of parameters. In this paper, we formalize compute bounded policies and prove that policies which use more compute can solve problems and generalize to longer-horizon tasks that are outside the scope of policies with less compute. Building on prior work in algorithmic learning and model-free planning, we propose a minimal architecture that can use a variable amount of compute. Our experiments complement our theory. On a set 31 different tasks spanning online and offline RL, we show that $(1)$ this architecture achieves stronger performance simply by using more compute, and $(2)$ stronger generalization on longer-horizon test tasks compared to standard feedforward networks or deep residual network using up to 5 times more parameters.

요약

강화학습(RL) 정책이 사용하는 연산량(compute)과 파라미터 수를 별개의 축으로 분리하여 계산 복잡도 이론으로 공식화하고, 더 많은 연산을 사용하는 정책이 더 적은 연산으로는 해결 불가능한 문제를 풀 수 있음을 이론적으로 증명한다. 파라미터 수를 고정한 채 가변적 연산을 수행하는 최소 순환(recurrent) 아키텍처를 제안하고, 31가지 온·오프라인 RL 태스크에서 단순히 연산 단계를 늘리는 것만으로도 파라미터가 5배 많은 피드포워드·잔차 네트워크보다 높은 성능과 더 긴 수평선(horizon) 태스크에 대한 강한 일반화를 달성함을 보인다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.05999v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15894v1cs.LG공통 태그 Computational Efficiency, Sequential Decision Making

모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습

Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair

대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.

arXiv:2610.13407v1cs.LG공통 태그 Computational Efficiency, Sequential Decision Making

지속적 후보 집합을 활용한 선형 밴딧 가속화

Accelerating Linear Bandits with Persistent Candidate Sets

행동의 수가 $K$개로 매우 큰 고정된 집합을 갖는 선형 밴딧(linear bandit)에서는 완전 낙관적 점수 산출(exhaustive optimistic scoring)로 인해 라운드당 $\mathcal{O}(K)$회의 점수 평가가 필요하여 행동 선택 비용이 커질 수 있습니다. 본 논문에서는 $k$개의 활성 행동을 유지하고 매 라운드마다 나머지 $K-k$개 행동 중에서 $q$개의 도전자(challenger)를 균등하게 표본추출하는 Persistent Candidate LinUCB(\textsc{PC-LinUCB})를 제안합니다. 이 $k+q$개의 후보에 대해서만 점수를 평가함으로써, \textsc{PC-LinUCB}는 라운드당 점수 평가 횟수를 $\mathcal{O}(k+q)$로 줄입니다. 고정된 신뢰 수준에서 표준 선형 밴딧 학습 항과 $\mathcal{O}\left((K-k)\log(K-k)/q\right)$ 차수의 추가적 탐색 비용(discovery cost)으로 구성된 문제 독립적(problem-independent) 및 문제 의존적(problem-dependent) 고확률 후회 경계(regret bound)를 증명합니다. 특히, 이 추가 비용은 시간 지평(horizon)에 따라 증가하지 않습니다. 고정된 간격(gap)과 충분히 긴 시간 지평에 대해 균등 도전자 표본추출 조건 하에서 $\Omega\left((K-k)/q\right)$ 후회 하한을 도출하여, 부분 후보 접근 자체가 불가피한 후회 비용을 수반함을 보여줍니다. 실험 결과, \textsc{PC-LinUCB}는 유사한 수준의 후회를 유지하면서 LinUCB의 속도를 대폭 가속하며, 지속적 후보 메커니즘이 LinUCB를 넘어 다른 알고리즘으로도 확장될 수 있음을 보입니다.

arXiv:2610.13504v1cs.LG공통 태그 Reinforcement Learning, Sequential Decision Making

시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델

Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.

arXiv:2610.10627v1cs.LG공통 태그 Reinforcement Learning, Deep Reinforcement Learning

콜모고로프-아놀드 네트워크의 샘플 효율성

Sample-Efficiency of Kolmogorov-Arnold Networks

심층 강화학습은 기존 제어 방식에 비해 상당한 성능 향상을 달성했습니다. 그러나 실제 응용 분야에서 학습을 진행할 때 핵심적인 과제는 비용이 많이 드는 샘플을 획득하는 것입니다. 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Networks)는 최근 제안된 구조로, 다층 퍼셉트론(Multi-Layer-Perceptron) 구조와 비교했을 때 현저히 높은 매개변수 효율성과 해석 가능성을 바탕으로 제어 문제에서의 물리적 관계를 효과적으로 학습할 수 있습니다. 본 연구에서는 파인만(Feynman) 데이터셋과 Gymnasium RL 벤치마크를 포함하는 계산 실험을 통해 샘플 효율성을 체계적으로 연구합니다. 실험 결과, 콜모고로프-아놀드 구조를 사용하면 40% 더 적은 샘플로도 유사한 성능을 달성할 수 있으며, 학습 과정에서 최대 50%의 상대적 성능 향상이 나타남을 보여줍니다. 관찰된 이득은 다양한 수준의 보상 노이즈에도 강건합니다. 이러한 결과는 보다 샘플 효율적인 강화학습을 위한 콜모고로프-아놀드 구조의 잠재력을 강조합니다. 코드: https://github.com/DerKevinRiehl/neurips26_kan_training

arXiv:2610.10768v1cs.CE공통 태그 Reinforcement Learning, Sequential Decision Making

에너지 전환에서의 가치 창출을 위한 전략적 투자 의사결정: 강화학습 기반 접근법

Strategic Investment Decision Making for Value Creation in Energy Transition: A Reinforcement Learning Approach

기후 변화라는 전 지구적 과제는 2015년 파리 협정과 같은 국제적 합의에 따라 CO2 배출량을 감축하기 위한 중대한 조치들을 이끌어냈습니다. 너무 느리게 대응하면 향후 손실과 평판 훼손을 초래할 수 있는 반면, 너무 빠르게 움직이면 기술적 미성숙으로 인한 많은 재생에너지 프로젝트의 한계 수익성이나 잠재적 손실로 인해 주주 가치를 위협할 수 있습니다. 이러한 복잡한 전환 과정을 헤쳐나가기 위해 에너지 기업은 불확실성 속에서 의사결정의 유연성을 통해 가치 창출을 극대화하는 순차적 의사결정(SDM) 전략을 도입해야 합니다. 이를 지원하기 위해 본 연구에서는 2050년까지의 동적인 에너지 환경을 모델링하는 맞춤형 시뮬레이션 환경을 개발했습니다. 이를 기반으로 석유 및 가스, 재생에너지, CO2 감축의 세 가지 부문에 자금을 배분하기 위한 다양한 포트폴리오 관련 의사결정 전략을 탐색하는 다기준 SDM 프레임워크를 설계했습니다. 이는 생산량, 에너지 가격 및 비용의 불확실성을 고려하면서 전환 과정에서 가치를 극대화하는 것을 목표로 합니다. 이 프레임워크는 이익 극대화, CO2 사회적 비용 최소화, 재생에너지 부문에서의 경쟁 우위 확보라는 세 가지 목표를 가집니다. 본 연구는 정의된 SDM 프레임워크 내에서 최적의 투자 정책을 도출하기 위해 강화학습(RL)의 활용 가능성을 평가합니다. 에이전트의 순차적 의사결정은 석유 및 가스 생산량, 재생에너지 발전량, CO2 배출량, 수익과 같은 핵심 변수에 영향을 미침으로써 가상의 동적 환경을 형성합니다. 반복적인 상호작용을 통해 강화학습 알고리즘은 상태 공간을 탐색하고 불확실성 하에서 최적의 정책을 학습합니다. 본 연구는 강화학습 전략을 수동으로 정의된 일련의 기준선 정책들과 비교 평가하였으며, 적응성과 장기적 가치 창출 측면에서 일관되게 우수한 성능을 보임을 확인했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.