PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2407.04259v4math.OC공식 코드 · Papers with Code

유한 모델 불확실성 하의 Q-러닝

Q-Learning under Finite Model Uncertainty

각 상태–행동 쌍이 후보 전이 커널의 유한한 모호성 집합과 연관된 경우, 모델 불확실성 하의 마르코프 결정 과정을 위한 강건 Q-러닝 알고리즘을 제안한다. 이러한 유한 측도 프레임워크는 경쟁하는 적합 모델과 스트레스 시나리오를 포함하여 사용자가 설계한 불확실성 모델을 가능하게 한다. {학습자는 전이 확률이나 보상 함수에 대한 명시적 지식 없이, 모든 후보 시뮬레이터로부터 후속 상태와 그에 대한 결정론적 보상을 관측한다.} 학습된 Q-함수가 강건 최적해로 거의 확실하게 수렴함을 증명하고, 관측 가능한 경험적 벨만 잔차와 전이 커널 추정 오차를 분리하는 시간 균등 고확률 오차 보증을 도출한다. 또한 유한 상태 공간에서 바서슈타인 및 모수적 불확실성 모델에 대한 정량적 유한 모호성 근사 결과를 제시한다. 수치 예제를 통해 시나리오 선택의 효과를 보이고, 표 형태 알고리즘을 강건 가치 반복법과 비교한다.

arXiv:2410.14606v3cs.LG공식 코드 · Papers with Code

스트리밍 심층 강화학습이 마침내 작동하다

Streaming Deep Reinforcement Learning Finally Works

경험이 도착하는 대로 스트림 형태로 학습하는 것, 즉 스트리밍 학습(streaming learning)은 자연스러운 학습의 핵심 요소이다. 그러나 신뢰할 수 있는 스트리밍 학습은 현대 심층 강화학습(RL)에서 지속적인 난제로 남아있다. 대신 대부분의 심층 RL 알고리즘은 과거의 상호작용을 버퍼에 저장하여 오래된 경험으로부터 학습한다. 우리는 Q-러닝(Q-learning) 및 액터-크리틱(actor-critic)과 같은 고전적 스트리밍 RL을 심층 신경망과 함께 사용할 때, 그리고 PPO, SAC, DQN과 같은 배치 심층 RL을 스트리밍 설정에 맞게 적용할 때 모두 종종 학습에 실패함을 보인다. 58개의 Atari 게임과 50개의 연속 제어(continuous-control) 과제 전반에서, 우리는 광범위한 과제별 하이퍼파라미터 탐색에도 불구하고 이러한 방법들이 종합적으로 무작위 정책(random policy)에 가까운 성능을 보임을 발견하였다. 우리는 이 패턴을 스트림 장벽(stream barrier)이라 부른다. 여기서 우리는 신호 정규화(signal normalization), 표현 안정화(representation stabilization), 통제된 매개변수 업데이트(controlled parameter updates)를 결합한, 스트리밍 심층 RL 알고리즘을 위한 공유 레시피인 Stream-X를 소개한다. Stream-X를 여러 기본 스트리밍 RL 알고리즘에 적용함으로써, 우리는 스트림 장벽을 극복한 최초의 심층 RL 알고리즘군을 제공한다. 과제 전반에 걸쳐 알고리즘별로 하나의 지정된 하이퍼파라미터 구성을 사용하여, Stream-X는 종합 성능을 크게 향상시키며 이는 종종 배치 RL 알고리즘과 대등한 수준이다. 이러한 벤치마크를 넘어, 우리는 비정상성(nonstationarity)과 자원 제약(resource constraints) 하에서 Stream-X 알고리즘을 이용한 학습을 시연한다. Stream-X 알고리즘 중 하나인 Stream-AC는 시뮬레이션에서 교대로 바뀌는 바닥 마찰(floor-friction) 환경 전반에 걸쳐 성능을 반복적으로 회복하며, 평가된 PPO 및 SAC 베이스라인을 능가한다. 또한 자연스럽게 변화하는 실험실 환경에서 온보드 카메라의 고유수용성(proprioceptive) 및 시각적 특징을 사용하여 로봇의 헤딩 추적(heading tracking) 과제를 학습한다. Stream-Q는 제한된 연산 및 메모리를 가진 장치인 ESP32-S3 마이크로컨트롤러 상에서 픽셀로부터 직접 퐁(Pong) 게임을 학습한다.