arXiv:2508.16943v4 cs.RO

LHM-Humanoid: 복잡한 장면에서 연속적인 물체 운반을 위한 장기 휴먼 모션 제어

LHM-Humanoid: Long-Horizon Human Motion Control for Continuous Object Transport in Cluttered Scenes

Haozhuo Zhang, Jingkai Sun, Michele Caprio, Angelo Cangelosi, Jian Tang, Shanghang Zhang, Qiang Zhang, Wei Pan

제출 2025-08-23

한국어 초록

물리 기반 휴먼 모션 제어는 시뮬레이션된 캐릭터가 높은 물리적 사실성을 바탕으로 걷고, 앉고, 물체를 조작할 수 있게 해줍니다. 그러나 거의 대부분의 경우 이는 상호작용 사이에 재초기화되는 짧고 고립된 클립에서만 이루어집니다. 본 연구는 이와 달리 연속적이고 리셋이 없는 장기(long-horizon) 모션을 목표로 합니다. 즉, 물리 시뮬레이션된 휴머노이드가 단일 무중단 테이크 내에서 위치가 바뀐 물체로 반복해서 걸어가 균형 잡힌 전신 자세로 들어 올리고, 장애물을 지나 운반한 뒤 목표 지점에 내려놓는 과정을 계속해서 반복하는 것입니다. 어려운 점은 개별 동작이 아니라 동작 간의 전환(transition)입니다. 리셋이 없다면 각 주기는 방금 놓아둔 물체를 건드리지 않고 다음 주기를 시작할 수 있는 상태로 끝나야 하지만, 매번 물체를 내려놓을 때마다 캐릭터는 비정형(non-canonical) 자세로 균형을 잃게 되어 단순한 엔드투엔드 강화학습(RL)은 실패하게 됩니다. 본 연구의 핵심 아이디어는 이러한 인계를 회복가능성(recoverability)이라는 양면적 문제로 다루는 것입니다. 즉, 이전의 성공을 보존하기 위해 캐릭터가 방금 놓아둔 물체에서 떨어져 나와야 하며, 균형 잡힌 연속 동작이 가능한 상태로 안착해야 합니다. 전환 과정을 수작업으로 설계하는 대신, 각 주기가 끝나는 지점이 이러한 회복 가능한 영역에 도달하도록 유도하는 방식을 학습합니다. 이를 위해 LHM-Humanoid를 소개합니다. 하나의 목표 조건부 제어기가 가져오기-운반하기-내려놓기(fetch-carry-place) 주기를 완료하고, 학습된 분리 및 후퇴 동작을 통해 최종 상태를 이 영역으로 유도하며, 이어 두 번째 제어기가 결과 상태 분포로부터 제어를 인계받습니다. 두 제어기 모두 적대적 모션 프라이어(adversarial motion prior)로 정규화(normalization)되며, 전체 시퀀스를 하나의 리셋 없는 롤아웃으로 실행하는 단일 목표 조건부 정책으로 증류(distillation)됩니다. 4가지 방 유형에 걸친 350개의 복잡한 레이아웃에서, LHM-Humanoid는 학습된 장면과 학습되지 않은 장면 모두에서 엔드투엔드 RL, 계층적 RL, 기존 물리 기반 인간-장면 상호작용 방법보다 훨씬 더 성공적이고 안정적인 장기 모션을 생성합니다.

원문 초록

Physics-based human motion control can make a simulated character walk, sit, and manipulate objects with high physical realism. Almost always, though, this happens in short, isolated clips that are re-initialized between interactions. We instead aim for continuous, reset-free long-horizon motion: a physically simulated humanoid that repeatedly walks to a displaced object, lifts it with a balanced whole-body posture, carries it past obstacles, and places it at a goal, over and over within a single uninterrupted take. The hard part is not any individual motion but the transitions between them. Without a reset, each cycle must end in a state that both leaves the object just placed undisturbed and lets the next cycle begin, yet every placement leaves the character off-balance in a non-canonical pose where naive end-to-end reinforcement learning fails. Our key idea is to treat this handoff as a two-sided problem of recoverability: the character must disengage from the object it just placed so the prior success is preserved, and settle into a state from which a balanced continuation exists. Instead of engineering a transition by hand, we learn to shape where each cycle ends so that it lands in this recoverable region. We introduce LHM-Humanoid. One goal-conditioned controller completes a fetch--carry--place cycle and, through a learned release-and-retreat behavior, steers its terminal state into this region; a second controller then takes over from the resulting state distribution. Both are regularized by an adversarial motion prior and distilled into a single goal-conditioned policy that runs the whole sequence as one reset-free rollout. Across 350 cluttered layouts spanning four room types, LHM-Humanoid produces far more successful and stable long-horizon motion than end-to-end RL, hierarchical RL, and prior physics-based human-scene-interaction methods, on both seen and unseen scenes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2508.16943v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Continuous Control

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.10932v1cs.LG공통 태그 Reinforcement Learning (RL), Continuous Control

목표 조건부 강화학습을 위한 월드 모델 정책 중재자

World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning

오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.

arXiv:2610.11085v1cs.LG공통 태그 Reinforcement Learning (RL), Continuous Control

DaCe-DT: 이종 태스크를 위한 적응형 프롬프트 및 궤적 보정을 통한 데이터 중심 오프라인 멀티태스크 강화학습

DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks

오프라인 멀티태스크 강화학습(Offline MTRL)은 사전에 수집된 데이터의 품질과 분포에 크게 의존합니다. 그러나 기존 방법들은 주로 알고리즘적 최적화에 집중하며, 학습 능력과 일반화 성능을 향상시키기 위한 데이터 수준의 개선에는 덜 주목해 왔습니다. 본 논문은 데이터 관점에서 Offline MTRL 성능을 제한하는 세 가지 핵심 병목 현상을 밝혀냅니다: (i) 다양한 태스크 복잡도 하에서 비효율적인 프롬프트(prompt) 길이 활용, (ii) 무작위로 샘플링된 프롬프트 세그먼트의 의미론적 무관성, (iii) 파편화되고 불연속적인 궤적(trajectory)으로 인해 유도되는 오해의 소지가 있는 지도(supervision). 이러한 문제를 해결하기 위해, 우리는 길이 제어 프롬프트 마스킹(LGPM), 검색 증강 프롬프트 구성(RAPC), 가치 적응형 리턴 보정(VARC)을 특징으로 하여 이종 태스크의 복잡도 및 데이터 품질에 둔감하도록 설계된 강건한 오프라인 MTRL 프레임워크인 DaCe-DT를 제안합니다. 이러한 메커니즘들이 결합되어 DaCe-DT는 데이터 중심의 프롬프트 적응 및 궤적 정제를 제공하며, 이를 통해 이종 오프라인 데이터와 태스크 속에서도 강건한 멀티태스크 일반화와 안정적인 정책 학습을 가능하게 합니다. Meta-World에서의 실험 결과는 DaCe-DT가 기존 최고 수준의 방법들을 일관되게 능가하여 최적 데이터셋에서 평균 11.73%, 준최적 데이터셋에서 13.34%의 향상을 달성함을 보여주며, 불완전한 데이터로부터 안정적으로 학습하고 전반적인 멀티태스크 성능을 개선하는 데 있어서의 효과를 입증합니다.

arXiv:2607.09042v2cs.LG공통 태그 Reinforcement Learning (RL), Continuous Control

VLA 강화학습을 위한 사후 경험 학습

Learning from Hindsight for VLA Reinforcement Learning

비전-언어-행동(VLA, Vision-Language-Action) 모델을 파인튜닝(fine-tuning)하기 위해 강화학습(RL)이 점점 더 널리 사용되고 있으나, 로봇 상호작용은 비용이 많이 들며 성공적인 롤아웃(rollout)이 드문 경우 학습의 샘플 효율성이 극도로 저하됩니다. 지시된 작업을 완료했을 때만 보상(reward)이 주어지면, 실패한 롤아웃은 해당 작업과 관련된 유의미한 행동을 성공적으로 수행했더라도 아무런 가치가 없는 것으로 취급됩니다. 예를 들어 올바른 물체를 그릇에 넣지 못한 로봇이라도 해당 물체를 그릇 쪽으로 이동시키거나 다른 물체를 그릇에 넣었을 수 있으며, 이는 목표 작업을 해결하는 데 재사용될 수 있는 물체와 행동을 보여줍니다. 이러한 행동은 정책(policy)이 이미 해결할 수 있는 보조 작업을 정의하며, 더 어려운 목표 작업을 해결하기 전에도 유용한 학습(training) 신호를 제공합니다. 본 논문에서는 이러한 실패를 추가적인 학습 신호로 전환하는 사후 경험 학습(LfH, $\textit{Learning from Hindsight}$)을 제안합니다. 사전학습된 비전-언어 모델(VLM)을 활용하는 LfH는 실패한 롤아웃을 실제로 달성한 행동으로 재라벨링하고, 지시된 작업과 이러한 보조 작업 모두에 대해 정책을 공동으로 학습시킵니다. 분포 외(OOD) LIBERO-PRO 조작 작업에서 LfH는 약 $5\times$ 적은 롤아웃으로 GRPO의 최종 성능과 일치하는 결과를 보였으며, 여러 VLA 백본 전반에서 샘플 효율성을 향상시켰습니다. 실제 Franka 로봇 실험에서 LfH는 160회의 학습 롤아웃 내에 성공률을 $0\%$에서 $56\%$로 끌어올린 반면, GRPO는 $22\%$에 도달하는 데 그쳤습니다.

arXiv:2609.28378v1cs.RO공통 태그 Continuous Control, Humanoid Control

ForgetMimic: 강화학습 휴머노이드 제어를 위한 모션 언러닝

ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control

인간 시연을 활용한 휴머노이드 제어는 강화학습(RL)을 통해 다양하고 민첩하며 자연스러운 이동(locomotion) 행동을 달성해 왔다. 이 패러다임이 물리 세계 휴머노이드 제어에서 뛰어난 성능을 보여 주었지만, 학습된 정책에서 특정 동작을 제거하는 방법은 여전히 충분히 탐구되지 않았다. 이 문제를 다루는 동기는 긴급한 안전성 및 프라이버시 우려에서 비롯된다. 악의적이거나 오염된, 또는 차선의 동작뿐 아니라 GDPR과 같은 규정에 따른 잊혀질 권리(right to be forgotten)의 대상이 되는 저작권 보호 동작을 제거하는 것은 매우 중요하다. 이를 위해 우리는 물리 세계 휴머노이드 제어를 위해 특별히 설계된 최초의 모션 수준 언러닝 방법인 ForgetMimic을 제안한다. ForgetMimic의 핵심 아이디어는 다음과 같다. $N$개의 동작으로 학습된 정책 $\pi_\theta$가 주어졌을 때, 우리 방법은 목표 부분집합인 $K$개 동작에 대한 성능을 저하시키면서 나머지 $N-K$개 동작의 효과는 유지한다. 또한 우리는 로봇 제어에서 언러닝 실패로 이어지는 두 가지 핵심 학습 메커니즘을 식별하고 해결한다. Unitree G1 및 H2 휴머노이드 로봇에서 Dance, Fight, Flip 등 12가지 동작에 걸쳐 광범위한 실험을 수행했다. 실험 결과는 ForgetMimic이 지정된 동작에 대한 기억을 효과적으로 제거하면서 다른 모든 동작의 정상 동작을 유지함을 보여 준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.