AdaptManip: 온라인 순환 상태 추정을 통한 적응형 전신 물체 들어올리기 및 운반 학습
AdaptManip: Learning Adaptive Whole-Body Object Lifting and Delivery with Online Recurrent State Estimation
한국어 초록
본 논문에서는 휴머노이드 로봇이 통합된 내비게이션, 물체 들어올리기 및 운반을 수행할 수 있도록 하는 완전 자율 프레임워크인 적응형 전신 이동-조작(Loco-Manipulation), AdaptManip을 제시합니다. 인간의 시연(demonstration)에 의존하여 외란에 취약한 경우가 많은 기존의 모방 학습(imitation learning) 기반 접근 방식과 달리, AdaptManip은 인간의 시연이나 원격 조작 데이터 없이 강화학습(reinforcement learning)을 통해 강인한 이동-조작 정책을 훈련하는 것을 목표로 합니다. 제안된 프레임워크는 서로 결합된 세 가지 구성 요소로 이루어져 있습니다: (1) 제한된 시야와 가림 현상 속에서도 조작 대상 물체를 실시간으로 추적하는 순환 물체 상태 추정기, (2) 안정적인 물체 들어올리기 및 운반을 위한 잔차 조작 제어가 포함된 강인한 보행용 전신 기본 정책, (3) 드리프트에 강인한 위치 추정을 제공하는 LiDAR 기반 로봇 전역 위치 추정기. 모든 구성 요소는 시뮬레이션 환경에서 강화학습을 통해 학습되며, 실제 하드웨어에 제로샷(zero-shot) 방식으로 배포됩니다. 실험 결과에 따르면 AdaptManip은 시각적 관측이 간헐적인 상황에서도 학습된 추정기가 물체를 계속 추적하는 동시에 적응성과 전반적인 성공률 측면에서 모방 학습 기반 접근법을 포함한 기준선(baseline) 방법들을 크게 능가함을 보여줍니다. 또한 휴머노이드 로봇에서 완전 자율적인 실세계 내비게이션, 물체 들어올리기 및 운반 작업을 시연합니다.
원문 초록
This paper presents Adaptive Whole-body Loco-Manipulation, AdaptManip, a fully autonomous framework for humanoid robots to perform integrated navigation, object lifting, and delivery. Unlike prior imitation learning-based approaches that rely on human demonstrations and are often brittle to disturbances, AdaptManip aims to train a robust loco-manipulation policy via reinforcement learning without human demonstrations or teleoperation data. The proposed framework consists of three coupled components: (1) a recurrent object state estimator that tracks the manipulated object in real time under limited field-of-view and occlusions; (2) a whole-body base policy for robust locomotion with residual manipulation control for stable object lifting and delivery; and (3) a LiDAR-based robot global position estimator that provides drift-robust localization. All components are trained in simulation using reinforcement learning and deployed on real hardware in a zero-shot manner. Experimental results show that AdaptManip significantly outperforms baseline methods, including imitation learning-based approaches, in adaptability and overall success rate, while the learned estimator keeps tracking the object when visual observations are intermittent. We further demonstrate fully autonomous real-world navigation, object lifting, and delivery on a humanoid robot.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
InterEvolve: 휴머노이드 로코-조작을 위한 테스트 타임 보상 프로그램 진화
InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation
본 연구에서는 재학습 없이 기존 스킬을 재활용하고, 자체적인 시도로부터 개선하며, 학습한 내용을 유지함으로써 제어기가 한 번도 학습하지 않은 작업을 해결하는 휴머노이드 로코-조작(loco-manipulation)을 위한 테스트 타임(test-time) 진화를 연구한다. 우리의 핵심 통찰은 광범위한 제어기가 이미 새로운 작업에 필요한 역량의 대부분을 보유하고 있으며, 이러한 역량은 접촉이 풍부한 다단계 상호작용을 지정할 수 있을 만큼 표현력이 풍부하면서도 실행 피드백이 경험으로부터 계획을 안내할 수 있을 정도로 실행 가능하고 측정 가능한 계획과 제어 간의 인터페이스를 통해 접근 가능해진다는 점이다. InterEvolve는 두 가지 구성 요소를 통해 이 인터페이스를 구현한다. 첫째, 동결된 신체 사전 지식(body prior) 위의 객체 잔차(object residuals)를 통해 테스트 타임에 신체나 객체에 대한 새로운 보상을 로코-조작 행동으로 전환하는 객체 인식 순방향-역방향(FB) 행동 파운데이션 모델을 개발한다. 둘째, 완료 조건과 튜닝 가능한 상수를 갖춘 단계별 보상인 보상 프로그램으로 작업을 명시한다. 대규모 언어 모델(LLM) 에이전트는 검증된 프로그램 스킬 라이브러리와 실행 피드백을 활용하여 컨텍스트 내에서 프로그램 구조를 수정하며, 수치 옵티마이저는 그 상수를 튜닝한다. 병렬 시뮬레이션 시나리오 전반에서 모든 후보가 검증됨에 따라, 프로그램은 당면한 작업을 위해 제어기의 기존 운동 역량을 유도하고, 재활용하며, 구성하는 새로운 방식을 탐색함으로써 반복을 거치며 개선된다. 실험 결과에 따르면 인간이 설계한 보상은 FB 모델의 로코-조작 역량을 상당 부분 활용하지 못한 채 남겨두는 반면, InterEvolve가 진화시킨 프로그램은 때로는 새로운 전략을 통해 이를 이끌어내는 것으로 나타났다. 나아가 시뮬레이션에서 다양한 작업, 복잡한 장면, 장기적(long-horizon) 구성에 대한 행동을 생성하며, 진화된 스킬은 자기중심적(egocentric) 온보드 인식을 통해 물리적 Unitree G1에서 자율적으로 실행된다.
EgoHTR: 자아시점 4D 인간 지형 통과 시연
EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal
비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.
NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기
NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime
장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.
TANGO: 전신 비전-언어-행동 모델을 활용한 복잡한 환경에서의 휴머노이드 내비게이션
TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model
본 연구에서는 휴머노이드 로봇을 이용해 복잡하고 어수선한 실내 환경을 탐색 및 이동(navigation)하는 문제를 다룹니다. 내비게이션을 2D 경로 계획 문제로 모델링하는 기존 방식과 달리, 복잡한 환경에서 휴머노이드가 이동하려면 복잡한 3D 공간을 충돌 없이 통과하기 위해 조율된 팔 배치, 몸통 조절, 보행 조절을 포함하는 연속적이고 기하 구조를 인식하는 전신 적응(whole-body adaptation)이 필요합니다. 이에 본 논문에서는 복잡한 환경에서 언어 조건 기반 휴머노이드 이동을 위한 최초의 전신 비전-언어 내비게이션(Vision-Language Navigation) 프레임워크인 TANGO를 제안합니다. 자연어 지시와 1인칭 시점(egocentric) RGB 관측값이 주어지면, TANGO는 다운스트림 전신 제어를 위한 29-자유도(DoF) 관절 공간 행동을 직접 예측합니다. 전역 경로 계획, 기구학적 전신 동작 생성, 장애물 인식 동작 편집, 강화학습(RL) 기반 트래킹을 통해 충돌 없는 다양한 이동 동작을 합성함으로써 TANGO를 전적으로 시뮬레이션 환경에서 학습(training)합니다. 이러한 파이프라인은 언어 조건부 전신 정책 학습을 위한 동역학적으로 실현 가능한 행동 감독(supervision)을 제공합니다. 광범위한 시뮬레이션 실험에서 TANGO는 비전-언어 내비게이션 분야에서 최첨단 성능을 입증하는 동시에, 장애물 통과가 필요한 까다로운 장면을 탐색할 때 강력한 모듈식 베이스라인들을 능가했습니다. 마지막으로, Unitree G1 휴머노이드 로봇에 TANGO를 제로샷(zero-shot)으로 배포한 결과, 실제 세계 내비게이션 데이터에 대한 학습 없이도 복잡한 실제 환경에서 견고한 언어 유도 이동이 가능함을 확인했습니다.
UniTrackPLA: 지시어 기반 내비게이션 및 동적 인물 추적을 위한 통합 파노라마-언어-행동 모델
UniTrackPLA: Unified Panorama-Language-Action Model for Instruction-Guided Navigation and Dynamic Person Tracking
범용 체화 로봇(embodied robot)은 언어로 지정된 목적지로의 내비게이션과 임의의 초기 목표 방위각에서의 동적 인물 추적을 모두 지원해야 합니다. 그러나 기존 방법들은 일반적으로 전방 관측에 의존하며 이러한 과제들을 별도의 정책으로 다루기 때문에, 전방위 인식과 통합된 폐루프(closed-loop) 제어가 제한됩니다. 본 논문에서는 지시어 기반 내비게이션 및 동적 인물 추적을 위한 통합 파노라마-언어-행동 모델인 UniTrackPLA를 제시합니다. 본 모델의 파노라마 인지 인코딩(PAE)은 각 파노라마에서 투영된 원근 뷰의 시간적 및 방위각 구조를 보존하여, 원근 기반으로 사전학습된 시각 인코더가 전방위 관측을 처리할 수 있도록 지원합니다. 공유 비전-언어(vision-language) 백본은 파노라마 맥락 내에서 지시어를 그라운딩(grounding)하고 두 과제 모두에 대해 연속적인 로봇 중심 경유지 덩어리(waypoint chunks)를 예측합니다. 나아가 월드-행동 일관성(WAC)은 행동 조건부 미래 시각 상태를 예측하고 경유지 접두사를 온라인으로 검증하여, 신뢰할 수 있는 행동을 재사용하는 동시에 불일치 발생 시 재계획을 트리거합니다. 또한 5,000개의 시뮬레이션 추적 궤적, 10,000개의 시뮬레이션 VLN 경로, 96개의 검증된 실제 환경 경로로 구성되어 919,978개의 경유지 지도 인스턴스를 제공하는 OmniTrackNav-Bench를 소개합니다. UniTrackPLA는 전반적인 추적 SR을 23.50%에서 35.00%로, Omni-VLN SR/SPL을 13.00%/12.77%에서 19.75%/19.29%로 향상시킵니다. 76개의 실제 환경 경로를 통합하면 보류된(held-out) [email omitted] 42.92%에서 92.08%로 더욱 향상됩니다. Go2-W 로봇을 활용한 폐루프 실험을 통해 실내외 환경 전반에 걸친 통합 파노라마 추적 및 내비게이션 성능을 입증합니다. 프로젝트 페이지는 https://tw5775.github.io/UniTrackPLA 에서 확인할 수 있습니다.
PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스
PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation
이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Website: https://morganbyrd03.github.io/adaptmanip/