PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02505v1cs.LG

다중 신뢰도 정책 그래디언트를 통한 데이터 부족 강화학습 안정화

Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning

온-정책(on-policy) 강화학습(RL)을 위한 정책 그래디언트(policy gradient) 방법은 비용이 많이 들고 희소한 목표 도메인(target-domain) 데이터가 잡음이 많은 그래디언트 추정치를 낳을 때 불안정해질 수 있다. 본 연구는 제한적인 고신뢰도(high-fidelity, HF) 목표 도메인 데이터를, 단순화된 시뮬레이터 등에서 얻을 수 있는 풍부하고 저렴하지만 편향된 저신뢰도(low-fidelity, LF) 데이터로 보완함으로써 이 문제를 해결한다. 대부분의 기존 방법은 LF 데이터에 기반한 편향된 목적함수를 직접 최적화한다. 이와 달리, 최근 제안된 다중 신뢰도 정책 그래디언트(multi-fidelity policy gradient, MFPG) 프레임워크는 LF 데이터를 오직 분산을 줄이고 HF 데이터 효율을 높이는 제어 변량(control variate)을 구성하는 데에만 사용하며, 정책 그래디언트 추정량에 편향을 주지 않는다. 그러나 기존에 발표된 MFPG 연구는 소규모 시뮬레이션 과제에서의 REINFORCE로 한정되어 있다. 본 연구는 GPU 병렬 시뮬레이션 및 실제 물리 로봇에서 동작하는 현대적인 액터-크리틱(actor-critic) 학습을 위해 MFPG를 확장한다. 분석과 실험 결과, 근접 정책 최적화(proximal policy optimization, PPO)에 단순하게 확장을 적용하면 신뢰도 간 상관관계(cross-fidelity correlation)를 잃거나 분산이 증가할 수 있음을 보인다. 본 연구가 제안하는 MFPG-PPO는 샘플링, 어드밴티지(advantage) 추정, 제어 변량 구성을 재설계하여 신뢰도 간 상관관계를 유지하고, 추정량의 불확실성을 모니터링하여 분산 증가를 방지함으로써 이러한 실패를 해결한다. 또한 고정된 샘플링 예산을 고신뢰도 및 저신뢰도 데이터 소스에 분배하는 예산 인지(budget-aware) MFPG-PPO를 도입한다. LF에서 HF로의 전이 난이도와 HF 데이터 예산이 다양한 모의 로봇 보행(locomotion) 과제 전반에서, MFPG-PPO는 거의 모든 설정에서 HF 데이터만으로 학습한 PPO보다 성능이 우수하며, 가장 어려운 과제에서 가장 작은 HF 예산으로도 16배 더 많은 HF 데이터로 학습한 PPO의 성능과 꾸준히 대등한 결과를 보인다. 반면, LF 데이터를 사용하는 대부분의 기준선(baseline) 방법은 LF에서 HF로의 직접적인 전이가 성공하는 경우에만 좋은 성능을 보인다. MFPG-PPO는 업데이트당 단 4개의 실제 로봇 에피소드만 사용하고 인간 시연(human demonstration) 없이도 실제 Franka 로봇 암에서 안정적인 학습을 가능하게 한다.

arXiv:2209.14887v3cs.RO공식 코드 · Papers with Code

견고하고 역동적인 로봇 보행을 위한 저주파수 모션 제어 학습

Learning Low-Frequency Motion Control for Robust and Dynamic Robot Locomotion

로봇 보행은 주로 모션 제어 주파수를 높여 견고성과 반응성을 극대화하는 방식으로 접근되어 왔습니다. 본 연구에서는 실제 ANYmal C 4족 보행 로봇에서 최저 8 Hz로 실행되는 학습된 모션 제어기를 통해 견고하고 역동적인 보행을 실증함으로써 이러한 직관적인 통념에 도전합니다. 로봇은 1.5 m/s의 빠른 전진 속도를 안정적이고 반복적으로 달성하며, 울퉁불퉁한 지형을 주파하고, 예상치 못한 외부 섭동에 저항할 수 있습니다. 나아가 5 Hz에서 200 Hz 사이의 주파수에서 학습되고 실행된 심층 강화학습(RL) 기반 모션 제어 정책들에 대한 비교 분석을 제시합니다. 그 결과 저주파수 정책이 구동 지연(actuation latency) 및 시스템 역학 변화에 덜 민감함을 보여줍니다. 이는 다이내믹스 무작위화(dynamics randomization)나 구동 모델링 없이도 성공적인 심투리얼(sim-to-real) 전이가 수행될 수 있는 수준입니다. 엄격한 실증 평가를 통해 이러한 주장을 뒷받침합니다. 또한 재현성을 돕기 위해 학습 및 배포 코드와 확장된 분석 내용을 https://articulated.robots.ox.ac.uk/lfmc/ 에서 제공합니다.

arXiv:2606.06790v1cs.RO

능동 관절 현가 시스템을 갖춘 행성 탐사 로버를 위한 전지형 이동 학습

Learning All-Terrain Locomotion for a Planetary Rover with Actively Articulated Suspension

이 논문은 ERNEST, 즉 요(yaw)와 롤(roll) 구동을 결합하여 휠 재구성, 조향, 능동 하중 재분배를 가능하게 하는 2자유도 능동 짐벌 서스펜션(Active Gimbal Suspension)을 장착한 4륜 행성 탐사 로버 컨셉을 제시합니다. 험난한 지형에서 목표 경로를 추적하도록 학습된 단일 신경망(neural network) 컨트롤러는 자율적인 장애물 극복을 위해 이 구동형 현가 시스템의 기능을 완전히 발휘하게 합니다. 강체 접촉 역학과 Bekker-Wong 지반 역학(terramechanics)을 결합하여 느슨한 토양 조건에 적응된 이동 전략이 발현되도록 하는 고충실도 DARTS 시뮬레이션 엔진을 사용하여 강화학습(reinforcement learning) 프레임워크가 개발되었습니다. 이질적인 지형에서 단일 통합 컨트롤러를 얻기 위해, 정책 통합(policy consolidation) 전략은 지형 특화 에이전트들의 경험을 하나의 신경망으로 병합하여 명시적인 지형 분류(classification) 및 컨트롤러 전환의 필요성을 제거합니다. 결과적으로 도출된 컨트롤러는 희소한 스테레오 기반 지형 고도, 섀시 자세, 관절 상태, 그리고 힘-토크 측정값을 포함하는 고유 수용성(proprioceptive) 및 외부 수용성(exteroceptive) 피드백의 조합을 기반으로 작동합니다. 도메인 무작위화(domain randomization), 센서 노이즈 주입, 그리고 시뮬레이션-실물 시스템 식별(model-to-real system identification)을 통해 실제 로버로의 제로샷(zero-shot) 전이가 달성되었습니다. 실험 결과는 암석 지대, 요철 함정(bump trap), 휠 높이의 단차, 모래 물결, 그리고 모래 경사면을 자율적으로 주행할 수 있음을 보여줍니다. 20도 모래 경사면에서, 학습된 컨트롤러는 추가적인 구동에도 불구하고 건조한 모래에서 이동 비용을 37% 감소시켰으며, 수동 현가 시스템이 완전히 고착되는 젖은 모래에서는 우수한 성능을 달성했습니다.