arXiv:2610.01260v1 cs.RO

PROMO: 4족 보행 로봇을 위한 선호도 조건부 다목적 강화학습

PROMO: Preference-conditioned Multi-Objective Reinforcement Learning for Quadrupedal Robots

Amr Mousa, Rifny Rachman, Neil Karavis, Michele Caprio, Richard Allmendinger

제출 2026-10-01

저자 비고

arXiv Comments

Submitted to IEEE Transactions on Robotics. Project website, code, and videos: https://amrmousa.com/promo/

한국어 초록

4족 보행(quadrupedal locomotion)은 명령 추적(command tracking), 안정성, 에너지 효율성과 같은 상충하는 목표들 사이의 균형을 필요로 하지만, 기존의 강화학습(RL)은 이러한 우선순위를 학습 시점에 고정된 스칼라 보상으로 하드코딩한다. 우리는 이러한 트레이드오프를 단일 보행 정책(policy)에 대한 명시적인 런타임 입력으로 만드는 시맨틱 다목적 접근법인 PROMO(Preference-Conditioned Multi-Objective Reinforcement Learning, 선호도 조건부 다목적 강화학습)를 제시한다. PROMO는 체화(embodiment) 특유의 보행 사전 지식(locomotion prior)은 고정한 채, 배포 시점의 선호도(preference)에 정책을 조건화함으로써, 운용자의 의도를 실행 가능한 보행 패턴(gait) 생성에 필요한 보상 형성(reward shaping) 항과 분리한다. 고정 목표 제어기, 다목적 베이스라인, 독립적으로 학습된 전문가 정책(specialist)과 비교했을 때, PROMO는 단일 배포 가능 정책만으로 목표별 특화(specialization)와 강건성(robustness)을 달성한다. 시뮬레이션에서 샘플링한 100개의 선호도 중 67개의 행동이 엄밀한 파레토 지배(Pareto dominance) 기준으로 비지배(non-dominated) 상태였으며, 평균 선호도-목표 상관관계(correlation)는 0.843으로, 넓은 파레토 커버리지(coverage)와 예측 가능한 선호도 반응을 보여준다. 동일한 정책은 제로샷(zero-shot)으로 Unitree Go2에 전이(transfer)되며, 선호도 변경만으로 균형 잡힌 선호도 대비 비에너지(specific energy)는 최대 30.4%, 위치 오차는 38.7%, 최대 자세 편차(peak body-attitude deviation)는 59.0%까지 감소시킨다. 이러한 결과는 선호도 조건부 다목적 강화학습이 적응형 다리형 보행(legged locomotion)을 위한 실용적인 런타임 인터페이스로 자리매김할 수 있음을 보여주며, 그 역할을 오프라인 파레토 집합(Pareto-set) 구성을 넘어 확장한다. 오픈소스 코드와 영상은 https://amrmousa.com/promo/ 에서 확인할 수 있다.

원문 초록

Quadrupedal locomotion requires balancing conflicting objectives such as command tracking, stability, and energy efficiency, yet conventional reinforcement learning (RL) hardcodes these priorities into a fixed scalar reward at training time. We present PROMO (Preference-Conditioned Multi-Objective Reinforcement Learning), a semantic multi-objective approach that makes this trade-off an explicit runtime input to a single locomotion policy. PROMO conditions the policy on deployment facing preferences while keeping embodiment-specific locomotion priors fixed, thereby separating operator intent from reward shaping terms required for viable gait generation. Compared with fixed-objective controllers, multi-objective baselines, and independently trained specialists, PROMO achieves objective specialization and robustness from a single deployable policy. Across 100 sampled preferences in simulation, 67 behaviors are non-dominated under exact Pareto dominance, with a mean preference-objective correlation of 0.843, demonstrating broad Pareto coverage and predictable preference response. The same policy transfers zero-shot to a Unitree Go2, where preference changes alone reduce specific energy by up to 30.4%, position error by 38.7%, and peak body-attitude deviation by 59.0% relative to the balanced preference. These results establish preference-conditioned multi-objective RL as a practical runtime interface for adaptive legged locomotion, extending its role beyond offline Pareto-set construction. Open-source code and videos are available at https://amrmousa.com/promo/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01260v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.