능동 관절 현가 시스템을 갖춘 행성 탐사 로버를 위한 전지형 이동 학습
Learning All-Terrain Locomotion for a Planetary Rover with Actively Articulated Suspension
한국어 초록
이 논문은 ERNEST, 즉 요(yaw)와 롤(roll) 구동을 결합하여 휠 재구성, 조향, 능동 하중 재분배를 가능하게 하는 2자유도 능동 짐벌 서스펜션(Active Gimbal Suspension)을 장착한 4륜 행성 탐사 로버 컨셉을 제시합니다. 험난한 지형에서 목표 경로를 추적하도록 학습된 단일 신경망(neural network) 컨트롤러는 자율적인 장애물 극복을 위해 이 구동형 현가 시스템의 기능을 완전히 발휘하게 합니다. 강체 접촉 역학과 Bekker-Wong 지반 역학(terramechanics)을 결합하여 느슨한 토양 조건에 적응된 이동 전략이 발현되도록 하는 고충실도 DARTS 시뮬레이션 엔진을 사용하여 강화학습(reinforcement learning) 프레임워크가 개발되었습니다. 이질적인 지형에서 단일 통합 컨트롤러를 얻기 위해, 정책 통합(policy consolidation) 전략은 지형 특화 에이전트들의 경험을 하나의 신경망으로 병합하여 명시적인 지형 분류(classification) 및 컨트롤러 전환의 필요성을 제거합니다. 결과적으로 도출된 컨트롤러는 희소한 스테레오 기반 지형 고도, 섀시 자세, 관절 상태, 그리고 힘-토크 측정값을 포함하는 고유 수용성(proprioceptive) 및 외부 수용성(exteroceptive) 피드백의 조합을 기반으로 작동합니다. 도메인 무작위화(domain randomization), 센서 노이즈 주입, 그리고 시뮬레이션-실물 시스템 식별(model-to-real system identification)을 통해 실제 로버로의 제로샷(zero-shot) 전이가 달성되었습니다. 실험 결과는 암석 지대, 요철 함정(bump trap), 휠 높이의 단차, 모래 물결, 그리고 모래 경사면을 자율적으로 주행할 수 있음을 보여줍니다. 20도 모래 경사면에서, 학습된 컨트롤러는 추가적인 구동에도 불구하고 건조한 모래에서 이동 비용을 37% 감소시켰으며, 수동 현가 시스템이 완전히 고착되는 젖은 모래에서는 우수한 성능을 달성했습니다.
원문 초록
This paper presents ERNEST, a four-wheeled planetary rover concept equipped with a two-degree-of-freedom Active Gimbal Suspension that combines yaw and roll actuation to enable wheel reconfiguration, steering, and active load redistribution. A single neural network controller, trained to track a desired path across challenging terrain, fully unlocks the capabilities of this actuated suspension system for autonomous obstacle negotiation. A reinforcement learning framework is developed using the high-fidelity DARTS simulation engine, which combines rigid-contact dynamics and Bekker-Wong terramechanics, enabling the emergence of locomotion strategies adapted to loose-soil conditions. To obtain a single unified controller across heterogeneous terrains, a policy consolidation strategy merges the experience of terrain-specialized agents into one neural network, eliminating the need for explicit terrain classification and controller switching. The resulting controller operates on a combination of proprioceptive and exteroceptive feedback, including sparse stereo-derived terrain elevation, chassis attitude, joint states, and force-torque measurements. Zero-shot transfer to the physical rover is achieved through domain randomization, sensor noise injection, and model-to-real system identification. Experimental results demonstrate autonomous traversal of rock fields, a bump trap, a wheel-high step, sand ripples, and sandy slopes. On a 20° sandy slope, the learned controller reduces the cost of transport by 37% on dry sand despite the additional actuation, and achieves superior performance on wet sand where the passive suspension becomes completely immobilized.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06790v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
행동 셰이핑: 정책은 자신이 표현할 수 있는 것을 흡수한다
Action Shaping: Policies Absorb What They Can Express
보상 셰이핑(reward shaping)에는 포텐셜 기반 항을 최적 정책의 변경 없이 제거할 수 있다는 정리가 존재합니다. 반면 학습(training) 중에 오프셋을 더하고 배포 시점에 제거하는 방식의 행동 채널 적용 사례에는 이러한 정리가 없습니다. 행동 오프셋을 상쇄하는 것이 없기 때문에, 이러한 보정은 배포 시 유지되거나 보장 없이 제거됩니다. 본 논문에서는 이를 행동 셰이핑(action shaping)이라 부르고 그 원리를 제시합니다. 학습 가능한 정책은 자체 출력 층(layer)이 정확하게 재현할 수 있는 오프셋을 흡수하며, 여기서 '표현(express)'이란 바로 이를 의미합니다. 흡수된 오프셋은 리턴을 온전히 유지한 채 제거될 수 있습니다. 이의 최소 구현체는 페널티나 스케줄 없이 학습된 행동 가치 함수를 통해 학습하는 액터에 추가된, 학습 가능한 게이트 뒤에 배치된 0으로 초기화된 선형 헤드입니다. 이 게이트는 결정론적 액터와 확률적 액터 모두에서 스스로 상승했다가 하락하며, 20개의 태스크에서 해당 헤드를 제거해도 성능 손실이 거의 발생하지 않습니다. 이때 조건은 용량(capacity)이 아닌 정확한 재현입니다. 더 많은 파라미터를 가진 비선형 헤드는 흡수되지 않으며, 대조군 실험에서 비선형 베이스 헤드에 하나의 선형 경로를 추가하면 흡수 능력이 회복됩니다. 정확한 재현은 손실(loss) 지형에 그래디언트(gradient) 노이즈가 표류할 수 있는 평평한 방향을 제공하며, 오프셋의 진폭은 헤드를 제거하기 전에 이를 제거할 때 발생할 손실을 미리 알려줍니다. 이로써 행동 셰이핑은 셰이핑 정리에 상응하는 흡수 조건과 그 배후의 메커니즘, 그리고 이를 측정하는 진단 지표를 확보하게 됩니다. 정책은 자신이 표현할 수 있는 것만을, 그리고 오직 그것만을 흡수합니다.
다중 신뢰도 정책 그래디언트를 통한 데이터 부족 강화학습 안정화
Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning
온-정책(on-policy) 강화학습(RL)을 위한 정책 그래디언트(policy gradient) 방법은 비용이 많이 들고 희소한 목표 도메인(target-domain) 데이터가 잡음이 많은 그래디언트 추정치를 낳을 때 불안정해질 수 있다. 본 연구는 제한적인 고신뢰도(high-fidelity, HF) 목표 도메인 데이터를, 단순화된 시뮬레이터 등에서 얻을 수 있는 풍부하고 저렴하지만 편향된 저신뢰도(low-fidelity, LF) 데이터로 보완함으로써 이 문제를 해결한다. 대부분의 기존 방법은 LF 데이터에 기반한 편향된 목적함수를 직접 최적화한다. 이와 달리, 최근 제안된 다중 신뢰도 정책 그래디언트(multi-fidelity policy gradient, MFPG) 프레임워크는 LF 데이터를 오직 분산을 줄이고 HF 데이터 효율을 높이는 제어 변량(control variate)을 구성하는 데에만 사용하며, 정책 그래디언트 추정량에 편향을 주지 않는다. 그러나 기존에 발표된 MFPG 연구는 소규모 시뮬레이션 과제에서의 REINFORCE로 한정되어 있다. 본 연구는 GPU 병렬 시뮬레이션 및 실제 물리 로봇에서 동작하는 현대적인 액터-크리틱(actor-critic) 학습을 위해 MFPG를 확장한다. 분석과 실험 결과, 근접 정책 최적화(proximal policy optimization, PPO)에 단순하게 확장을 적용하면 신뢰도 간 상관관계(cross-fidelity correlation)를 잃거나 분산이 증가할 수 있음을 보인다. 본 연구가 제안하는 MFPG-PPO는 샘플링, 어드밴티지(advantage) 추정, 제어 변량 구성을 재설계하여 신뢰도 간 상관관계를 유지하고, 추정량의 불확실성을 모니터링하여 분산 증가를 방지함으로써 이러한 실패를 해결한다. 또한 고정된 샘플링 예산을 고신뢰도 및 저신뢰도 데이터 소스에 분배하는 예산 인지(budget-aware) MFPG-PPO를 도입한다. LF에서 HF로의 전이 난이도와 HF 데이터 예산이 다양한 모의 로봇 보행(locomotion) 과제 전반에서, MFPG-PPO는 거의 모든 설정에서 HF 데이터만으로 학습한 PPO보다 성능이 우수하며, 가장 어려운 과제에서 가장 작은 HF 예산으로도 16배 더 많은 HF 데이터로 학습한 PPO의 성능과 꾸준히 대등한 결과를 보인다. 반면, LF 데이터를 사용하는 대부분의 기준선(baseline) 방법은 LF에서 HF로의 직접적인 전이가 성공하는 경우에만 좋은 성능을 보인다. MFPG-PPO는 업데이트당 단 4개의 실제 로봇 에피소드만 사용하고 인간 시연(human demonstration) 없이도 실제 Franka 로봇 암에서 안정적인 학습을 가능하게 한다.
위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습
Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.
추론 문자열에서 부분 순서로: 몫 정책 최적화를 통한 검증기 인증 규칙 전이
From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization
많은 계산은 독립적인 하위 목표나 서로 겹치지 않는 상태 갱신이 교환 가능(commute)하기 때문에 여러 개의 유효한 실행 순서를 허용한다. 검증 가능한 보상을 사용하는 강화학습(reinforcement learning with verifiable rewards)은 보통 성공한 각 궤적(trace)을 서로 별개의 토큰 시퀀스로 취급하므로, 직렬화(serialization) 선택이 논리적 의존성으로 오인될 수 있다. 우리는 인접한 연산 쌍을 네이티브 검증기(native verifier)로 재실행하는 Verifier-Certified Rule Transport(VCRT)를 제안한다. 두 순서가 모두 수용되고 동일한 정규 상태(canonical state)에 도달하는 쌍은 교환 인증서(commutation certificate)를 제공하며, 거부되거나 상태가 바뀌는 역순은 반다이아몬드(anti-diamond)를 제공한다. VCRT는 반다이아몬드를 사용하여 진정한 선행 조건을 보존하고, 인증된 각 궤도(orbit)의 전체 확률 질량에 정책 크레딧을 할당한다. 또한 교환 후 일관성, 원본 유지(source retention), 정책 드리프트(policy drift)를 제약한다. 우리는 공유된 익명화 관계 그래프 인터페이스를 통해 ProofWriter, CLRS, Lean 전반에서 하나의 환경을 제외하는(leave-one-environment-out) 전이를 평가한다. 모든 학습과 체크포인트 결정은 홀드아웃 평가 이전에 고정되며, 홀드아웃 평가는 탐색이나 검증기 피드백 없이 항목당 하나의 그리디 궤적을 사용한다. VCRT는 가장 강력한 대응 기준선의 64.53%에 비해 77.60%의 매크로 통과율을 달성하였으며, 이는 13.06%p의 짝지은(paired) 향상이다(95% 부트스트랩 신뢰구간 [12.58, 13.54]). 이 향상의 대부분은 33.49%p를 기록한 Lean에서 나오며, ProofWriter와 CLRS는 평균 2.85%p 향상된다. 메커니즘 테스트는 일관되게 반다이아몬드 지도(supervision)를 지지하는 반면, No-Orbit은 전체 VCRT와 통계적으로 구별되지 않는다. 이 증거는 정확한 궤도 집계(exact orbit aggregation)가 전반적인 이점을 준다는 점을 입증하지 못한다.
LEAP-CBF: 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials)을 이용한 불확실 시스템용 안전 필터
LEAP-CBF: A Safety Filter for Uncertain Systems with Least-Effort Adversarial Potentials
제어 장벽 함수(Control Barrier Function, CBF)는 비선형 동역학 시스템의 안전성을 보장하기 위해 널리 쓰이는 안전 필터이다. 그러나 시스템에 불확실성과 외란이 존재할 때는 CBF의 강건(robust) 변형을 사용해야 하는데, 이러한 변형은 구성하기 어려울 수 있으며 특히 입력 제약이 있는 고차원 시스템에서는 지나치게 보수적일 수 있다. 본 연구에서는 이러한 문제를 해결하기 위한 새로운 접근법으로, 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials, LEAP)을 제안한다. LEAP은 주어진 상태가 외란에 대해 갖는 강건성을, 외란이 실패를 일으키기 위해 필요한 노력의 크기로 정량화하는 인증서(certificate)이다. 우리는 LEAP이 외란이 없는 시스템에 대한 CBF임을 보이는 동시에, 누적 노력이 제한된 외란에 대해 강건한 안전 필터를 구성하는 데에도 사용될 수 있음을 보인다. 또한 온-정책(on-policy) 심층 강화학습(deep reinforcement learning)으로 LEAP을 구성하는 방법을 제안한다. 이어서 외란과 불확실성이 있는 다양한 멀티 에이전트 시스템에 대한 시뮬레이션에서 LEAP을 시연한다. 마지막으로, 사족보행 로봇과 쿼드로터를 이용한 하드웨어 실험을 통해 LEAP이 실제 로봇 시스템의 외란과 불확실성을 다루는 데 적합함을 검증한다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.