LHM-Humanoid: 복잡한 장면에서 연속적인 물체 운반을 위한 장기 휴먼 모션 제어
LHM-Humanoid: Long-Horizon Human Motion Control for Continuous Object Transport in Cluttered Scenes
물리 기반 휴먼 모션 제어는 시뮬레이션된 캐릭터가 높은 물리적 사실성을 바탕으로 걷고, 앉고, 물체를 조작할 수 있게 해줍니다. 그러나 거의 대부분의 경우 이는 상호작용 사이에 재초기화되는 짧고 고립된 클립에서만 이루어집니다. 본 연구는 이와 달리 연속적이고 리셋이 없는 장기(long-horizon) 모션을 목표로 합니다. 즉, 물리 시뮬레이션된 휴머노이드가 단일 무중단 테이크 내에서 위치가 바뀐 물체로 반복해서 걸어가 균형 잡힌 전신 자세로 들어 올리고, 장애물을 지나 운반한 뒤 목표 지점에 내려놓는 과정을 계속해서 반복하는 것입니다. 어려운 점은 개별 동작이 아니라 동작 간의 전환(transition)입니다. 리셋이 없다면 각 주기는 방금 놓아둔 물체를 건드리지 않고 다음 주기를 시작할 수 있는 상태로 끝나야 하지만, 매번 물체를 내려놓을 때마다 캐릭터는 비정형(non-canonical) 자세로 균형을 잃게 되어 단순한 엔드투엔드 강화학습(RL)은 실패하게 됩니다. 본 연구의 핵심 아이디어는 이러한 인계를 회복가능성(recoverability)이라는 양면적 문제로 다루는 것입니다. 즉, 이전의 성공을 보존하기 위해 캐릭터가 방금 놓아둔 물체에서 떨어져 나와야 하며, 균형 잡힌 연속 동작이 가능한 상태로 안착해야 합니다. 전환 과정을 수작업으로 설계하는 대신, 각 주기가 끝나는 지점이 이러한 회복 가능한 영역에 도달하도록 유도하는 방식을 학습합니다. 이를 위해 LHM-Humanoid를 소개합니다. 하나의 목표 조건부 제어기가 가져오기-운반하기-내려놓기(fetch-carry-place) 주기를 완료하고, 학습된 분리 및 후퇴 동작을 통해 최종 상태를 이 영역으로 유도하며, 이어 두 번째 제어기가 결과 상태 분포로부터 제어를 인계받습니다. 두 제어기 모두 적대적 모션 프라이어(adversarial motion prior)로 정규화(normalization)되며, 전체 시퀀스를 하나의 리셋 없는 롤아웃으로 실행하는 단일 목표 조건부 정책으로 증류(distillation)됩니다. 4가지 방 유형에 걸친 350개의 복잡한 레이아웃에서, LHM-Humanoid는 학습된 장면과 학습되지 않은 장면 모두에서 엔드투엔드 RL, 계층적 RL, 기존 물리 기반 인간-장면 상호작용 방법보다 훨씬 더 성공적이고 안정적인 장기 모션을 생성합니다.