PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2209.14887v3cs.RO공식 코드 · Papers with Code

견고하고 역동적인 로봇 보행을 위한 저주파수 모션 제어 학습

Learning Low-Frequency Motion Control for Robust and Dynamic Robot Locomotion

로봇 보행은 주로 모션 제어 주파수를 높여 견고성과 반응성을 극대화하는 방식으로 접근되어 왔습니다. 본 연구에서는 실제 ANYmal C 4족 보행 로봇에서 최저 8 Hz로 실행되는 학습된 모션 제어기를 통해 견고하고 역동적인 보행을 실증함으로써 이러한 직관적인 통념에 도전합니다. 로봇은 1.5 m/s의 빠른 전진 속도를 안정적이고 반복적으로 달성하며, 울퉁불퉁한 지형을 주파하고, 예상치 못한 외부 섭동에 저항할 수 있습니다. 나아가 5 Hz에서 200 Hz 사이의 주파수에서 학습되고 실행된 심층 강화학습(RL) 기반 모션 제어 정책들에 대한 비교 분석을 제시합니다. 그 결과 저주파수 정책이 구동 지연(actuation latency) 및 시스템 역학 변화에 덜 민감함을 보여줍니다. 이는 다이내믹스 무작위화(dynamics randomization)나 구동 모델링 없이도 성공적인 심투리얼(sim-to-real) 전이가 수행될 수 있는 수준입니다. 엄격한 실증 평가를 통해 이러한 주장을 뒷받침합니다. 또한 재현성을 돕기 위해 학습 및 배포 코드와 확장된 분석 내용을 https://articulated.robots.ox.ac.uk/lfmc/ 에서 제공합니다.

arXiv:2410.14606v3cs.LG공식 코드 · Papers with Code

스트리밍 심층 강화학습이 마침내 작동하다

Streaming Deep Reinforcement Learning Finally Works

경험이 도착하는 대로 스트림 형태로 학습하는 것, 즉 스트리밍 학습(streaming learning)은 자연스러운 학습의 핵심 요소이다. 그러나 신뢰할 수 있는 스트리밍 학습은 현대 심층 강화학습(RL)에서 지속적인 난제로 남아있다. 대신 대부분의 심층 RL 알고리즘은 과거의 상호작용을 버퍼에 저장하여 오래된 경험으로부터 학습한다. 우리는 Q-러닝(Q-learning) 및 액터-크리틱(actor-critic)과 같은 고전적 스트리밍 RL을 심층 신경망과 함께 사용할 때, 그리고 PPO, SAC, DQN과 같은 배치 심층 RL을 스트리밍 설정에 맞게 적용할 때 모두 종종 학습에 실패함을 보인다. 58개의 Atari 게임과 50개의 연속 제어(continuous-control) 과제 전반에서, 우리는 광범위한 과제별 하이퍼파라미터 탐색에도 불구하고 이러한 방법들이 종합적으로 무작위 정책(random policy)에 가까운 성능을 보임을 발견하였다. 우리는 이 패턴을 스트림 장벽(stream barrier)이라 부른다. 여기서 우리는 신호 정규화(signal normalization), 표현 안정화(representation stabilization), 통제된 매개변수 업데이트(controlled parameter updates)를 결합한, 스트리밍 심층 RL 알고리즘을 위한 공유 레시피인 Stream-X를 소개한다. Stream-X를 여러 기본 스트리밍 RL 알고리즘에 적용함으로써, 우리는 스트림 장벽을 극복한 최초의 심층 RL 알고리즘군을 제공한다. 과제 전반에 걸쳐 알고리즘별로 하나의 지정된 하이퍼파라미터 구성을 사용하여, Stream-X는 종합 성능을 크게 향상시키며 이는 종종 배치 RL 알고리즘과 대등한 수준이다. 이러한 벤치마크를 넘어, 우리는 비정상성(nonstationarity)과 자원 제약(resource constraints) 하에서 Stream-X 알고리즘을 이용한 학습을 시연한다. Stream-X 알고리즘 중 하나인 Stream-AC는 시뮬레이션에서 교대로 바뀌는 바닥 마찰(floor-friction) 환경 전반에 걸쳐 성능을 반복적으로 회복하며, 평가된 PPO 및 SAC 베이스라인을 능가한다. 또한 자연스럽게 변화하는 실험실 환경에서 온보드 카메라의 고유수용성(proprioceptive) 및 시각적 특징을 사용하여 로봇의 헤딩 추적(heading tracking) 과제를 학습한다. Stream-Q는 제한된 연산 및 메모리를 가진 장치인 ESP32-S3 마이크로컨트롤러 상에서 픽셀로부터 직접 퐁(Pong) 게임을 학습한다.

arXiv:2405.20971v3cs.LG공식 코드 · Papers with Code

비전, 언어, 제어를 위한 diffusion 모델에서 intractable 추론의 상각화

Amortizing intractable inference in diffusion models for vision, language, and control

Diffusion 모델은 비전, 언어, 강화학습에서 효과적인 분포 추정기로 부상했지만, 하위 과제에서 사전분포로 쓰일 때 다루기 어려운(intractable) 사후 추론 문제를 야기한다. 본 논문은 diffusion 생성 모델 사전분포 $p(\mathbf{x})$와 블랙박스 제약 또는 가능도 함수 $r(\mathbf{x})$로 이루어진 모델에서, 데이터에 대한 사후분포 $\mathbf{x}\sim p^{\rm post}(\mathbf{x})\propto p(\mathbf{x})r(\mathbf{x})$의 상각화(amortized) 샘플링을 연구한다. 이 사후분포에서 샘플링하는 diffusion 모델을 학습하기 위한 데이터 없는(data-free) 학습 목적 함수인 relative trajectory balance의 점근적 정확성을 진술하고 증명하며, 이 문제는 기존 방법이 근사적으로만 또는 제한된 경우에만 다룰 수 있다. Relative trajectory balance는 diffusion 모델에 대한 generative flow network 관점에서 나오며, 모드 커버리지(mode coverage) 개선을 위해 deep 강화학습 기법을 활용할 수 있게 한다. 실험은 diffusion 사전분포 하에서 임의의 사후분포에 대한 편향 없는(unbiased) 추론의 넓은 가능성을 보여 준다: 비전(classifier guidance), 언어(이산 diffusion LLM 하 infilling), 다중모달 데이터(text-to-image 생성). 생성 모델링을 넘어 score 기반 행동 사전분포를 갖는 연속 제어 문제에 relative trajectory balance를 적용하여 오프라인 강화학습 벤치마크에서 최신(state-of-the-art) 결과를 달성한다.

arXiv:2408.02295v4cs.LG공식 코드 · Papers with Code

불확실성 인식 강화학습을 위한 일반화 가우시안 시간차 오차

Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning

기존의 불확실성 인식 시간차(TD) 학습은 TD 오차를 영평균(zero-mean) 가우시안으로 모델링하는 경우가 많다. 이 가정은 부트스트래핑과 탐험(exploration)으로 인해 발생하는 heavy-tailed 및 이분산(heteroscedastic) 잔차를 놓칠 수 있다. 우리는 일반화 가우시안 분포(GGD)에 기반한 상태 조건부 형상(shape) 헤드를 도입하고, 수치적으로 수정된 GGD 손실(loss)을 비정상(nonstationary) TD 잔차에 대한 온라인 대리(surrogate)로 사용한다. 때로 혼동되는 두 가지 수학적 사실을 구분한다: 정확한 GGD 가능도(likelihood)는 모든 $β>0$에 대해 정규화되어 있지만, 그 지수 밀도 커널(kernel)은 $β\in(0,2]$에서 양의 정부(positive definite)이다. 학습된 형상을 이용해 단순한 단조 가중 휴리스틱을 구성하고, 앙상블(ensemble) TD 오차의 분산과 표본 초과 첨도(sample excess kurtosis)로부터 Batch Inverse Error Variance(BIEV) 정규화(regularization)를 제안한다. 연속 및 이산 제어 벤치마크(benchmark) 전반에서 형상 인식 변형이 여러 설정에서 가우시안 기반 변형보다 개선되지만, 이득은 과제와 체제(regime)에 따라 달라진다.

arXiv:2011.02565v2cs.LG공식 코드 · Papers with Code

다양성 강화 Option-Critic

Diversity-Enriched Option-Critic

시간적 추상화(temporal abstraction)는 강화학습 에이전트가 서로 다른 시간 척도에 걸쳐 지식을 표현하고 전략을 수립할 수 있게 한다. Option-critic 프레임워크는 모델 없는(model-free) 설정에서 옵션(options)으로 표현되는 시간적으로 확장된 행동을 종단간(end-to-end) 학습할 수 있음이 입증되었다. 그러나 option-critic의 실용 가능성은 두 가지 주요 난제로 인해 여전히 제한적이다: 여러 옵션이 매우 유사한 행동을 채택하는 경우, 또는 과제 관련 옵션 집합이 줄어드는 경우. 이러한 현상은 시간적 추상화의 필요성을 무효화할 뿐만 아니라 성능에도 영향을 미친다. 본 논문에서는 다양한 옵션 집합을 학습함으로써 이 문제들을 해결한다. 우리는 옵션 집합 내 행동 다양성을 촉진하기 위해 과제 보상을 보강하는 정보 이론적 내재 보상(intrinsic reward)과 새로운 종료 목적 함수를 제안한다. 우리는 제안 방법이 여러 이산 및 연속 제어 과제에서 옵션을 종단간 학습할 수 있으며, option-critic을 큰 마진으로 능가함을 실증적으로 보인다. 또한 우리는 option-critic과 달리 제안 접근법이 견고하고, 재사용 가능하며, 신뢰할 수 있고 해석 가능한 옵션을 지속적으로 생성함을 보인다.

arXiv:2405.01906v3cs.AI공식 코드 · Papers with Code

신경망 라우팅 솔버의 대규모 일반화를 위한 인스턴스 조건부 적응

Instance-Conditioned Adaptation for Large-scale Generalization of Neural Routing Solver

현대 지능형 교통 시스템(ITS), 특히 화물 운송 및 물류 분야에서 실시간 경로 계획은 매우 중요하다. 이 분야는 서비스 요청의 높은 불확실성으로 인한 고유한 도전 과제를 안고 있으며, 서비스 고객 수가 수백에서 수천 명까지 크게 변동할 수 있다. 기존 신경망 기반 방법들은 이러한 큰 변동 하에서 성능을 유지하는 데 어려움을 겪고 있으며, 이는 실용적 적용 가능성을 심각하게 제한한다. 이 중요한 결함을 해결하기 위해, 본 연구는 더 나은 대규모 일반화를 위해 설계된 새로운 인스턴스 조건부 적응 모델(ICAM)을 제안한다. 특히, 최소한의 계산 오버헤드로 모델 적응성을 향상시키기 위해 현재 교통 시나리오의 특정 기하학적 구조와 밀도에 따라 정책을 조정하는 단순하면서도 효율적인 인스턴스 조건부 적응 함수를 설계한다. 또한, 다양한 규모의 인스턴스에 대해 더 나은 솔루션을 생성하기 위한 강력하면서도 낮은 복잡도의 인스턴스 조건부 적응 모듈을 제안한다. 합성, 벤치마크, 실세계 인스턴스에 대한 광범위한 실험을 통해 ICAM이 널리 연구된 네 가지 대규모 경로 계획 시나리오에서 일관되게 우수한 일반화 성능을 달성함을 입증한다. 특히, 제안된 방법은 매우 빠른 추론 속도로 고품질 솔루션을 제공하여 실시간 지능형 교통 운영을 위한 확장 가능하고 효율적인 솔루션을 제공한다. 코드는 https://github.com/CIAM-Group/ICAM 에서 공개되어 있다.

arXiv:2505.23527v4cs.LG공식 코드 · Papers with Code

정규화 흐름은 연속 제어에 유능한 모델이다

Normalizing Flows are Capable Models for Continuous Control

정규화 흐름(NF)은 미분 방정식 풀이나 autoregressive 구조 없이 우도 계산과 샘플링을 지원하며, 표현력이 부족하다는 기존 인식과 달리 RL에서 정책, Q-함수, 점유도를 담당하는 단일 아키텍처로 알고리즘에 통합할 수 있음을 보인다. 이 방식은 구현을 단순화하면서 모방 학습, 오프라인 RL, 목표 조건 RL, 비지도 RL에서 diffusion·트랜스포머 기반 방법과 경쟁하거나 더 높은 성능을 달성한다.