강화학습 환경 패밀리 개발을 위한 모델 주도 접근법
A Model-Driven Approach for Developing Families of Reinforcement Learning Environments
한국어 초록
가상 학습 환경은 강화학습(RL) 에이전트가 학습하고, 적응하며, 의미 있는 행동을 보여주는 소프트웨어 집약적 시스템입니다. 가상 학습 환경은 실제 환경에서 에이전트를 학습시키는 것에 비해 안전하고 비용 효율적인 대안을 제공합니다. 그러나 수렴하기 위해서는 대부분의 현실적인 강화학습 문제가 대체로 유사하지만 약간씩 다른 여러 환경, 즉 환경 변형 패밀리에서의 학습을 필요로 합니다. 환경 패밀리의 일반적인 개발 과정은 확장성이 떨어지는 노동 집약적이고 오류가 발생하기 쉬운 수작업입니다. 이러한 문제를 완화하기 위해, 본 논문에서는 강화학습 학습 환경 패밀리 개발을 위한 모델 주도 접근법을 제안합니다. 환경 패밀리를 생성하기 위해 우리는 접근법과 프로토타입 도구를 개발했습니다. 제안하는 접근법에서는 집단 기반 전역 탐색과 휴리스틱 국소 탐색을 결합한 하이브리드 유전 알고리즘이 환경 패밀리를 생성합니다. 돌연변이와 제약 조건은 모델 변환으로 표현되며, 최첨단 모델 변환 엔진을 통해 탐색 과정으로 작동화됩니다. 우리는 산불 완화 시나리오와 커리큘럼 학습(curriculum learning) — 환경 패밀리에 의존하는 특정 학습 패러다임 — 에서 우리 접근법의 타당성을 입증합니다.
원문 초록
Virtual training environments are software-intensive systems in which reinforcement learning (RL) agents learn, adapt, and demonstrate meaningful behavior. Virtual training environments offer a safe and cost-efficient alternative to training agents in real-world settings. However, to converge, most realistic RL problems require training in multiple, mostly similar but slightly different environments - i.e., families of environment variants. The typical development process of environment families is a labor-intensive and error-prone manual endeavor that does not scale well. To alleviate these issues, in this paper, we propose a model-driven approach for developing families of RL training environments. To obtain the family of environments, we develop an approach and prototype tool. In our approach, a hybrid genetic algorithm - a combination of population-based global search and heuristic local search - generates environment families. Mutations and constraints are expressed as model transformations and are operationalized into a search process by a state-of-the-art model transformation engine. We demonstrate the soundness of our approach in a wildfire mitigation scenario and curriculum learning - a particular learning paradigm that relies on environment families.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20324v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
드래곤체스를 위한 시간차 학습
Temporal-Difference Learning for Dragonchess
본 연구는 두 가지 적응형 AI 방법론인 진화적 전이학습(evolutionary transfer learning)과 TD(lambda)가 3차원 체스 환경인 드래곤체스(Dragonchess)에서 어떻게 작동하는지 조사합니다. 이 게임은 고유한 보드 구조와 계산 부하로 인해 플레이어에게 도전 과제를 제시하므로, 적응형 방법론이 새로운 환경에서 평가 휴리스틱을 어떻게 업데이트할 수 있는지 연구하기에 이상적인 환경을 제공합니다. 본 연구에서는 드래곤체스 엔진을 PyGame 엔진에서 C++로 다시 구현했습니다. 이를 통해 더 빠른 게임 플레이가 가능해져, 단일 소규모 토너먼트 대신 신뢰구간과 유의성 검정을 포함한 10,000회의 게임을 진행할 수 있었습니다. 라운드 로빈 토너먼트에서 두 적응형 방법론 모두 다른 모든 에이전트보다 뛰어난 성능을 보였습니다. 실험 결과, 진화된 평가 방식과 학습된 평가 방식 간에 통계적으로 유의미한 성능 차이는 없는 것으로 나타났습니다. 본 연구는 구조적으로 복잡하고 새로운 게임 도메인에서 적응형 방법론의 효용성을 입증합니다.
DeliveryGym: An RL Environment for Long-Horizon Embodied Agent Planning with Adaptive Curriculum
The user asked for a JSON-only translation response with no markdown fences. Here is the result: {"title_ko": "DeliveryGym: 적응형 커리큘럼 기반 장기 체화 에이전트 계획을 위한 강화학습 환경", "abstract_ko": "실행 가능한 환경은 LLM 에이전트가 자신의 행동 결과로부터 학습할 수 있게 한다. 체화 에이전트의 경우, 그 결과는 현재 과제의 성공 여부를 넘어선다. 배달을 완료하는 것은 이후 작업에 필요한 시간, 에너지, 또는 돈을 소모할 수 있다. 따라서 계획 학습을 위해서는 이러한 의존성을 보존하고 완전한 궤적에 걸쳐 이를 피드백으로 전환하는 환경이 필요하다.\n\n우리는 연속적인 배달원 근무 교대를 대상으로 에이전트를 평가하고 학습하는 3D 환경인 DeliveryGym을 제안한다. 이는 다중 모달 도구 상호작용과 지속적인 세계 동역학을 결합하고, 시뮬레이터 이벤트로부터 궤적 보상을 계산하여 에이전트 결정의 비용을 강화학습(RL)에 사용할 수 있게 한다. 또한 평가는 고정한 채, 환경은 정책에서 관찰된 약점에 맞춰 향후 학습 교대를 적응시킨다.\n\n6개 모델과 13개 도시 맵에 걸쳐, 평가는 할당된 배달을 안정적으로 수행하는 것과 한 교대 동안 업무를 선택하고 순서를 정하는 것 사이의 격차를 드러낸다. 보지 못한 도시 테스트 세트에서 RL은 Qwen3-VL-4B의 순수익을 54.3% 향상시켜, 완전한 교대로부터 학습하면 이러한 결합된 제약 하에서 성능이 개선됨을 보여준다. 학습 환경을 적응시키면 100회 업데이트에서 균일 샘pling 대비 평가 수익이 18% 개선되어, 에이전트가 연습하는 상황이 무엇인지도 중요함을 시사한다. DeliveryGym은 에피소드 내에서 배달을 조율하고 이후 주문을 위해 자원을 보존하는 방법을 에이전트가 학습하는 과정을 연구할 수 있는 실행 가능한 설정을 제공한다."}
잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝
Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling
잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.
DCL-GPGLS: 대규모 차량 경로 문제를 위한 유전 프로그래밍 유도 국소 탐색 기반 동적 커리큘럼 학습
DCL-GPGLS: Dynamic Curriculum Learning for Genetic Programming Guided Local Search in Large-Scale Vehicle Routing
유전 프로그래밍 유도 국소 탐색(GPGLS)은 대규모 차량 경로 문제(LSVRP)의 유도 국소 탐색에 사용할 효용 함수(utility function)를 진화시키기 위해 유전 프로그래밍을 활용합니다. 매 세대마다 모든 학습(training) 인스턴스에 걸쳐 모든 GP 개체를 평가(evaluation)하는 것은 비용이 많이 들기 때문에, GPGLS는 통상적으로 작은 인스턴스 배치(batch)로 학습됩니다. 기존의 커리큘럼 기반 GPGLS는 주로 인스턴스 크기에 따라 이러한 배치의 순서를 정합니다. 적응형 커리큘럼 학습 GPGLS(ACL-GPGLS)는 고정된 커리큘럼 단계 간 이동 시점을 조정하여 학습 효율을 개선하지만, 인스턴스 난이도 순서는 여전히 사전에 정의된 상태로 유지됩니다. 본 논문에서는 현재 모집단(population)의 해 품질을 바탕으로 각 학습 인스턴스의 난이도를 추정하고 진화 과정 동안 이를 업데이트하는 DCL-GPGLS를 제안합니다. 이후 각 세대는 계획된 난이도 수준에 근접한 배치를 전달받으며, 동일 인스턴스의 반복 선택을 제한하는 보정이 함께 적용됩니다. CVRPLIB X 세트의 고정된 학습-테스트 분할에 대한 실험 결과, DCL-GPGLS는 6가지 학습 정책 중 가장 우수한 평균 순위와 평균 테스트 비용을 달성함을 보여줍니다. 또한 65개의 미확인(unseen) 테스트 인스턴스 중 36개에서 가장 낮은 평균 비용을 기록했으며, 총 평가자 호출 횟수가 동일한 정적 피드백 기반 커리큘럼과 비교했을 때 6개 인스턴스에서 유의미하게 우수했고 나머지 59개 인스턴스에서는 유의미한 차이가 없었습니다.
LLM에게 자기 진화를 가르치기: 강화학습으로 핵심 메타 스킬 함양
Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning
AlphaEvolve에서 보여주듯, 환경 피드백을 활용한 반복적 자기 진화를 통한 테스트 시점 스케일링(test-time scaling)은 놀라운 성능 향상을 보인다. 우리는 이러한 진화 프레임워크의 성공이 환경 피드백을 통한 자기 성찰(self-reflection)과 같은 메타 스킬(meta-skills)에 달려 있으며, 이는 효과적인 다중 라운드 정제를 가능하게 하지만 기존 사후 학습에서는 대체로 간과된다고 가정한다. 이 격차를 메우기 위해 데이터 합성 파이프라인, 진화 인식(evolution-aware) 강화학습, 그리고 추론 시점 진화 탐색을 통해 이러한 메타 스킬을 개발하도록 설계된 MetaEvolve 프레임워크를 제안한다. 구체적으로 MetaEvolve를 코딩에 그라운딩(grounding)하였으며, 여기서 프로그램 실행은 이진 정확성을 넘어 자연스럽고 연속적인 보상 신호를 제공한다. 이러한 신호를 바탕으로 각각 현재 프로그램, 적합도 점수(정확성과 효율성의 결합), 그리고 이전 시도 기록을 포함하는 진화 궤적을 학습 데이터로 합성하고, 테스트 케이스 실행에서 도출된 검증 가능한 보상으로 강화학습을 통해 모델을 학습한다. 대규모 코드 데이터로 학습함으로써, 풍부한 학습 신호가 부족한 개방형(open-ended) 문제에 광범위하게 전이할 수 있는 일반화 가능한 도메인 무관(domain-agnostic) 메타 스킬을 기대한다. 7개의 코딩 벤치마크에서 MetaEvolve는 분포 내(in-distribution) 과제에서 가장 강력한 기준선을 절대 10.01%p 초과하고, 분포 외(out-of-distribution) 과제에서는 24.12%p 초과한다. 학습 도메인을 완전히 벗어난 개방형 알고리즘 최적화 문제에서도 46.9%의 상대적 향상을 달성한다. 이러한 결과는 자기 진화 메타 스킬을 명시적으로 함양하는 것이 더 유능하고 자율적으로 자기 진화하는 AI를 향한 원칙적인 경로를 제공함을 보여준다.
멀티모달 추론을 위한 오프라인-온라인 커리큘럼 강화학습
Offline-Online Curriculum RL for Multimodal Reasoning
멀티모달 대규모 언어 모델은 추론 과제에서 능력을 보이지만, 최종 답은 맞으면서도 중간 단계에서 결함이 있는 결과를 내는 경우가 많다. 이러한 행동은 해석 가능성과 신뢰성을 훼손하며, 충실한 추론보다는 가짜 지름길(spurious shortcuts)에 의존하고 있음을 시사한다. 단계 수준의 지도학습을 탐구한 연구가 있었지만, 결정적인 단계와 중복 단계를 구분하는 것은 여전히 어렵다. 우리는 반복적인 오프라인-온라인 패러다임을 통해 핵심 단계 인식(critical-step awareness)을 도입하는 새로운 커리큘럼 강화학습 프레임워크인 $O^2$-CritiCuRL을 제안한다. 오프라인 단계에서 $O^2$-CritiCuRL은 단계 주석이 달린 궤적에 대해 다중 롤아웃 분석을 수행하여 단계 수준의 중요도를 추정하고, 이를 통해 핵심 추론 단계를 증류(distill)하고 중복 단계를 걸러낸다. 온라인 단계에서는 점진적인 단계 수준 강화학습 전략을 사용하며, 잘린 연쇄(truncated chains)가 모델이 누락된 단계를 추론하고 추론을 정교화하도록 안내하여 핵심 단계에 대한 집중을 높이고 정적 지도의 한계를 극복한다. 멀티모달 추론 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 최첨단 성능을 달성하면서 학습과 추론 효율성에서도 우수한 결과를 보인다. 코드는 https://github.com/kk0013/CritiCuRL 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.