심층 강화학습은 기존 제어 방식에 비해 상당한 성능 향상을 달성했습니다. 그러나 실제 응용 분야에서 학습을 진행할 때 핵심적인 과제는 비용이 많이 드는 샘플을 획득하는 것입니다. 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Networks)는 최근 제안된 구조로, 다층 퍼셉트론(Multi-Layer-Perceptron) 구조와 비교했을 때 현저히 높은 매개변수 효율성과 해석 가능성을 바탕으로 제어 문제에서의 물리적 관계를 효과적으로 학습할 수 있습니다. 본 연구에서는 파인만(Feynman) 데이터셋과 Gymnasium RL 벤치마크를 포함하는 계산 실험을 통해 샘플 효율성을 체계적으로 연구합니다. 실험 결과, 콜모고로프-아놀드 구조를 사용하면 40% 더 적은 샘플로도 유사한 성능을 달성할 수 있으며, 학습 과정에서 최대 50%의 상대적 성능 향상이 나타남을 보여줍니다. 관찰된 이득은 다양한 수준의 보상 노이즈에도 강건합니다. 이러한 결과는 보다 샘플 효율적인 강화학습을 위한 콜모고로프-아놀드 구조의 잠재력을 강조합니다. 코드: https://github.com/DerKevinRiehl/neurips26_kan_training
우리는 상태 공간이 외생적(exogenous) 및 내생적(endogenous) 구성요소로 분할되는, Exo-MDP로 알려진 구조화된 마르코프 결정 과정(MDP) 클래스를 연구한다. 외생적 상태는 에이전트(agent)의 행동과 무관하게 확률적으로 변화하는 반면, 내생적 상태는 두 상태 구성요소와 행동 모두에 기반하여 결정론적으로 변화한다. Exo-MDP는 재고 관리, 자원 관리, 차량 호출(ride-sharing)을 포함한 많은 운영 과학(operations research) 설정을 포착한다. 우리의 첫 번째 기여는 구조적 측면으로, 이산 MDP, Exo-MDP, 이산 선형 혼합 MDP 사이의 표현적 동치 관계를 확립한다. 두 번째 기여는 통계적 측면이다. 유효 차원 $r$이 내생적 상태 및 행동 공간에 비해 작을 때 Exo-MDP 학습의 미니맥스 후회(minimax regret)를 규명한다. 외생적 상태가 관측되지 않을 때, Exo-MDP의 유효 차원이 $r$인 경우 수평선(horizon) $H$의 $K$개 에피소드에 걸쳐 $Θ(Hr \sqrt{K})$ 차수의 일치하는 상한 및 하한 후회 경계를 증명한다. 외생적 상태가 관측되는 경우 미니맥스 후회는 $Θ(H\sqrt{ r K})$로 개선되어, 외생적 상태 관측으로 인한 $Θ(\sqrt{r})$의 통계적 격차를 밝혀낸다. 이러한 결과는 Exo-MDP가 샘플 복잡도(sample complexity)를 행동 공간 및 내생적 상태 공간으로부터 분리함을 보여준다. 우리는 재고 관리 및 자원 할당에 대한 실험을 통해 이러한 통찰을 검증한다.
강화학습(RL)은 게임, 로보틱스, 온라인 광고, 공중 보건, 자연어 처리(NLP) 등 다양한 분야의 실세계 의사결정에서 놀라운 성과를 거두었다. 이러한 발전에도 불구하고, RL 연구와 실제 환경에서의 배포 사이에는 여전히 상당한 간극이 존재한다. 이 간극의 배경에는 두 가지 반복적인 과제가 있다. 첫째, 실용적 제약으로 인해 에이전트가 목표 환경과 충분히 상호작용할 기회가 제한되는 경우가 많다. 둘째, 많은 목표 환경이 상당한 변화를 겪기 때문에 RL 시스템의 재설계 및 재배포가 필요하다(예: 의료 서비스 환경을 변화시키는 과학·기술의 발전). 이러한 과제를 해결하고 기초 연구와 응용 사이의 간극을 좁히기 위해서는, 실세계 환경에서 RL 시스템의 설계·구현·지속적 개선을 직접적으로 뒷받침하는 이론과 방법론이 요구된다. 본 논문에서는 실제 RL 적용을 세 가지 구성요소로 이루어진 프로세스로 정의한다: (i) 배포 중 온라인 학습 및 최적화, (ii) 배포 후 또는 배포 간 오프라인 분석, (iii) RL 시스템을 지속적으로 개선하기 위한 반복적인 배포 및 재배포 주기. 우리는 이 세 가지 구성요소에서 발생하는 통계적 과제를 다루는 최근 발전에 대한 서술적 리뷰를 제공한다. 여기에는 온라인 배포 시 샘플 효율성 향상 방법, 배포 후 또는 배포 간 추론을 위한 데이터 활용 극대화 방법, 그리고 지속적 개선을 위한 배포 시퀀스 설계 방법이 포함된다. 또한 실제 응용에서 RL의 효과적인 적용을 목표로 하는, 활용 중심의 미래 RL 연구 방향을 제시한다.
인지 심리학에서 영감을 받은 계층적 학습 프레임워크 SCALA는 거친 범주 구조에서 세밀한 인식으로 단계적으로 학습하며, 추가적인 분류 헤드 없이 로짓 집계를 통해 계층적 감독을 구현한다. 데이터가 극히 부족한 환경에서 배경 방해 요소를 억제하고 과제 관련 특징에 집중하는 인간과 유사한 인지적 선택성을 보이며, 정확도 향상과 미관찰 클래스에 대한 강건한 일반화를 달성한다.
세계 모델을 이용한 상상 속 학습 및 계획(planning)은 의사결정을 위한 에이전트 학습에 효과적인 패러다임을 제공한다. 그러나 기존 접근법들은 제어와 무관한 많은 요소를 포함하는 고차원 잠재 공간이나 범용 시각적 임베딩에 의존하는 경우가 많아, 태스크 간 효율성과 일반화를 저해한다. 이를 해결하기 위해, 우리는 에이전트가 태스크에 특화되고 최소한이며 의사결정에 충분한 표현을 갖는 세계 모델을 학습하는 방법을 연구한다. 이는 에이전트와 세계 모델 간의 폐쇄 루프(closed-loop) 시너지를 통해 달성되며, 구조적 세계 모델 학습이 정보성 높은 상호작용 데이터로부터 태스크 충분 표현을 증류한다. 에이전트 측면에서는, 에이전트가 적응형 커리큘럼의 안내 하에 태스크 관련 잠재 요인을 드러내는 정보성 높은 궤적을 수집하기 위해 환경을 능동적으로 탐험한다. 세계 모델 측면에서는, 수집된 상호작용 데이터로부터 간결하고 태스크에 충분한 잠재 상태를 증류하기 위해 관측값에 대한 구조적 표현을 학습한다. 이러한 시너지는 제어 관련 모든 요인을 포착하는 태스크 충분 잠재 표현의 실험적 복원을 가능하게 한다. 이러한 표현을 활용하여, 결과적으로 산출된 정책은 표준 연속 제어(continuous-control) 및 로봇 조작(robotic-manipulation) 벤치마크에서 기술 간 일반화, 객체-기술 조합 일반화, 이전에 보지 못한 태스크에 대한 일반화를 포함하여 향상된 샘플 효율성과 일반화를 달성한다.
마스크 기반 예측 표현(MPR) 학습 방법을 보조 태스크로 도입하여 비전 기반 심층 강화학습의 샘플 효율을 향상시키는 방법을 제안한다. 트랜스포머와 결합해 잠재 공간에서 마스킹된 관측 시퀀스를 재구성함으로써, DMControl 연속 제어 태스크와 Atari 100k 벤치마크에서 최신 샘플 효율적 강화학습 방법들을 능가하는 성능을 달성했다.
강화학습(RL)은 근본적으로 낮은 데이터 효율성과 약한 일반화로 인해 제한을 받는다. 기존 에피소드 강화학습 방법은 외부 메모리 모듈을 통해 이를 완화하려 시도했지만, 두 가지 핵심 한계가 있다: 얕은 인코더로 인한 표현 병목, 그리고 에피소드 메모리에 무차별적으로 접근하는 검색 딜레마. 이러한 과제를 해결하기 위해, 우리는 에피소드 강화학습에 대규모 언어 모델(LLM)을 통합하는 새로운 아키텍처인 Agentic Episodic Control(AEC)을 제안한다. AEC는 LLM 기반 시맨틱 증강기(semantic augmenter)를 사용해 원시 관측으로부터 시맨틱 표현을 생성하고, 중요 상태 인식기(critical state recognizer)를 통해 가치 있는 경험을 선택적으로 검색한다. 이는 메모리 사용을 수동적 유사도 매칭에서 전략적이고 문맥 인식적인 회상으로 전환한다. 다섯 개의 BabyAI-Text 환경에서 AEC는 기준선(baseline) 대비 2-6배 높은 데이터 효율성을 달성하며, UnlockLocal과 같은 복잡한 과제를 90% 이상의 성공률로 해결한 유일한 방법이다. 또한 강한 교차 과제 및 교차 환경 일반화를 보여주며, 분포 이동(distribution shift) 하에서도 성능을 유지한다. AEC는 LLM 유래 사전지식(prior)과 강화학습을 결합하면 더 샘플 효율적이고 적응력 있는 에이전트(agent)를 만들 수 있음을 보여준다.