슈퍼 마리오 브라더스에서의 강화학습: World 1-1의 커리큘럼, 교육학, 그리고 최적 레벨 디자인
Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1
한국어 초록
슈퍼 마리오 브라더스의 World 1-1은 게임 디자인의 교과서로 널리 인정받으며, 그 점진적 구조가 레벨 자체를 통해 플레이어에게 핵심 메커닉을 가르친다는 점에서 높이 평가받는다. 우리는 그 구조가 강화학습(reinforcement learning)을 이용해 실증적으로 측정 가능한지를 묻는다. 우리는 World 1-1을 완전 이산 환경(environment)으로 처음부터 구현하고, Q-Learning, SARSA, 몬테카를로, 심층 Q 네트워크(DQN)의 네 가지 알고리즘을 동일 레벨의 점진적으로 복잡해지는 세 가지 버전에 걸쳐 비교한다. 몬테카를로가 가장 강력한 에이전트로 부상하며(승률 94.9% ± 1.5%), 가장 직접적인 경로를 택하는 대신 승리 경로를 따라 중간 보상을 최대화하는 방식으로 학습함으로써 DQN(76.4% ± 3.4%)을 능가한다. 이어서 우리는 World 1-1의 여섯 개 표준 구간을 열두 가지 조건에 걸쳐 순열 배치하는 커리큘럼 실험에 몬테카를로를 활용한다. 표준 순서는 가장 빠르게 수렴하고, 가장 높은 학습 효율을 달성하며, 치명적 실패(catastrophic failure)가 전혀 없는 유일한 조건이다. 어떠한 무작위 순열도 세 가지 기준을 동시에 충족하지 못한다. 이 결과들은, 저자들이 아는 한, World 1-1의 표준 디자인이 진정한 교육학적 구조를 내포하고 있음을 최초로 실증적으로 검증(validation)한다: 이 구조는 학습을 측정 가능한 수준으로 가속화하며 우연에 의해 복제될 수 없다.
원문 초록
World 1-1 of Super Mario Bros is widely celebrated as a masterclass in game design: its progressive structure is credited with teaching players core mechanics through the level itself. We ask whether that structure is empirically measurable using reinforcement learning. We implement World 1-1 from scratch as a fully discrete environment and compare four algorithms -- Q-Learning, SARSA, Monte Carlo, and Deep Q-Network (DQN) -- across three progressively complex versions of the same level. Monte Carlo emerges as the strongest agent (94.9% $\pm$ 1.5% win rate), outperforming DQN (76.4% $\pm$ 3.4%) by learning to maximize intermediate rewards along winning paths rather than taking the most direct route. We then use Monte Carlo in a curriculum experiment permuting World 1-1's six canonical segments across twelve conditions. Canonical ordering converges fastest, achieves the highest learning efficiency, and is the only condition with zero catastrophic failures; no random permutation matches all three criteria simultaneously. These results provide, to the best of our knowledge, the first empirical validation that World 1-1's canonical design encodes genuine pedagogical structure: one that measurably accelerates learning and cannot be replicated by chance.
요약
슈퍼 마리오 브라더스 World 1-1을 완전 이산 환경으로 구현하여 Q-Learning, SARSA, 몬테카를로, DQN 네 가지 강화학습(RL) 알고리즘을 비교한 결과, 몬테카를로가 94.9%의 승률로 가장 우수한 성능을 보였으며, World 1-1의 표준 구간 순서가 무작위 순열 대비 학습 수렴 속도와 안정성 모두에서 유의미하게 우월함을 최초로 실증적으로 검증하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29511v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
5G 및 차세대 네트워크에서의 에너지 절감: 양자 강화학습 접근법
Energy Saving in 5G and Beyond Networks: A Quantum Reinforcement Learning Approach
에너지 절감은 5G 및 차세대(Beyond 5G) 네트워크에서 중요한 과제가 되었습니다. 연결된 기기의 급격한 증가는 전반적인 네트워크 에너지 수요를 증가시켜 운영 비용을 감당하기 어려운 수준으로 끌어올렸습니다. 기지국(BS)은 무선 접속망(RAN) 전체 에너지의 약 60-70%를 소비하며 에너지 사용량의 가장 큰 비중을 차지합니다. 따라서 이 문제를 해결하기 위해 본 논문에서는 사용자 단말(UE)의 동적 동작을 고려하면서 기지국의 에너지 사용량을 최적화합니다. 심층 강화학습(DRL)은 사용자 밀도가 낮을 때 기지국 전원을 자동으로 켜고 끄거나, 전송 전력을 조절하여 에너지 효율과 서비스 품질(QoS)의 균형을 맞추는 등 효과적인 에너지 절감 정책을 결정하기 위한 자연스러운 후보입니다. 그러나 과중한 학습(training) 부담과 밀집된 5G 환경에서 상태 및 행동 공간의 기하급수적인 증가는 탐험(exploration)을 점점 더 어렵게 만듭니다. 이러한 한계를 극복하기 위해, 본 논문에서는 매개변수화된 양자 회로를 통해 중첩과 얽힘을 포함한 양자 원리를 활용하여 기존 심층 신경망에 의존하는 DRL보다 훨씬 빠른 수렴(convergence)을 가능하게 하는 새로운 양자 강화학습(QRL) 알고리즘을 소개합니다. 광범위한 시뮬레이션을 통해 제안된 QRL이 단말의 이동성이 매우 높고 기지국 안테나와의 연결이 빈번하게 전환되는 상황에서도 QoS를 유지하면서 에너지 소비를 대폭 줄일 수 있음을 입증합니다. 또한, QRL은 수렴 속도와 학습 복잡도 측면 모두에서 DRL 및 Q-러닝(Q-Learning)을 일관되게 능가합니다.
양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.
위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습
Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.
잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝
Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling
잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.
멀티모달 추론을 위한 오프라인-온라인 커리큘럼 강화학습
Offline-Online Curriculum RL for Multimodal Reasoning
멀티모달 대규모 언어 모델은 추론 과제에서 능력을 보이지만, 최종 답은 맞으면서도 중간 단계에서 결함이 있는 결과를 내는 경우가 많다. 이러한 행동은 해석 가능성과 신뢰성을 훼손하며, 충실한 추론보다는 가짜 지름길(spurious shortcuts)에 의존하고 있음을 시사한다. 단계 수준의 지도학습을 탐구한 연구가 있었지만, 결정적인 단계와 중복 단계를 구분하는 것은 여전히 어렵다. 우리는 반복적인 오프라인-온라인 패러다임을 통해 핵심 단계 인식(critical-step awareness)을 도입하는 새로운 커리큘럼 강화학습 프레임워크인 $O^2$-CritiCuRL을 제안한다. 오프라인 단계에서 $O^2$-CritiCuRL은 단계 주석이 달린 궤적에 대해 다중 롤아웃 분석을 수행하여 단계 수준의 중요도를 추정하고, 이를 통해 핵심 추론 단계를 증류(distill)하고 중복 단계를 걸러낸다. 온라인 단계에서는 점진적인 단계 수준 강화학습 전략을 사용하며, 잘린 연쇄(truncated chains)가 모델이 누락된 단계를 추론하고 추론을 정교화하도록 안내하여 핵심 단계에 대한 집중을 높이고 정적 지도의 한계를 극복한다. 멀티모달 추론 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 최첨단 성능을 달성하면서 학습과 추론 효율성에서도 우수한 결과를 보인다. 코드는 https://github.com/kk0013/CritiCuRL 에서 제공된다.
전문가 행동 사전 강화학습
Expert Behavior Prior Reinforcement Learning
행동 사전 강화학습(BPRL)은 오프라인 시연에서 유도된 정책 사전을 활용하여 온라인 강화학습(RL)의 샘플 효율성을 개선하는 유망한 패러다임으로 부상했다. 그러나 기존 BPRL 방법 대부분은 정적 오프라인 데이터셋에 의존하며, 이는 종종 낮은 데이터 다양성과 최적이 아닌 궤적 품질 문제를 겪는다. 이러한 의존은 정책 사전의 효과를 제한하여 온라인 학습 중 정책 활용과 안정성을 모두 저해한다. 결과적으로 에이전트는 비효율적인 탐험과 불안정한 학습 역학에 취약해진다. 이러한 한계를 해결하기 위해, 우리는 기존 오프라인 사전학습 방법에서 벗어나 전문가 행동 사전(EBP) 알고리즘을 제안한다. 구체적으로, 온라인 리플레이 버퍼로부터 직접 전문가 정책 사전을 생성하는 방법을 학습하는 Q-유도 조건부 변분 오토인코더(Q-CVAE)를 도입한다. 이를 통해 사전 수집된 전문가 궤적에 의존하지 않고도 정책 업데이트를 안내하는 고가치 행동을 생성할 수 있다. 정책 활용을 더욱 향상시키기 위해, 생성적 지원 집합에서 전문가 행동을 선택하는 전문가 정책 안내(EPG) 메커니즘을 제안하고, Q-유도와 전문가 감독을 조화시켜 안정적이고 일관된 정책 개선을 촉진하는 정책 그래디언트 보정(PGC) 모듈을 통합한다. 로봇 제어(Gym, PyBullet) 및 산업 제어(DMControl) 벤치마크에서 수행한 광범위한 실험은 EBP가 최신 온라인 RL 알고리즘을 크게 능가하며, 더 높은 샘플 효율성과 더 안정적인 수렴을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.