PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.14363v2cs.RO

AdaptManip: 온라인 순환 상태 추정을 통한 적응형 전신 물체 들어올리기 및 운반 학습

AdaptManip: Learning Adaptive Whole-Body Object Lifting and Delivery with Online Recurrent State Estimation

본 논문에서는 휴머노이드 로봇이 통합된 내비게이션, 물체 들어올리기 및 운반을 수행할 수 있도록 하는 완전 자율 프레임워크인 적응형 전신 이동-조작(Loco-Manipulation), AdaptManip을 제시합니다. 인간의 시연(demonstration)에 의존하여 외란에 취약한 경우가 많은 기존의 모방 학습(imitation learning) 기반 접근 방식과 달리, AdaptManip은 인간의 시연이나 원격 조작 데이터 없이 강화학습(reinforcement learning)을 통해 강인한 이동-조작 정책을 훈련하는 것을 목표로 합니다. 제안된 프레임워크는 서로 결합된 세 가지 구성 요소로 이루어져 있습니다: (1) 제한된 시야와 가림 현상 속에서도 조작 대상 물체를 실시간으로 추적하는 순환 물체 상태 추정기, (2) 안정적인 물체 들어올리기 및 운반을 위한 잔차 조작 제어가 포함된 강인한 보행용 전신 기본 정책, (3) 드리프트에 강인한 위치 추정을 제공하는 LiDAR 기반 로봇 전역 위치 추정기. 모든 구성 요소는 시뮬레이션 환경에서 강화학습을 통해 학습되며, 실제 하드웨어에 제로샷(zero-shot) 방식으로 배포됩니다. 실험 결과에 따르면 AdaptManip은 시각적 관측이 간헐적인 상황에서도 학습된 추정기가 물체를 계속 추적하는 동시에 적응성과 전반적인 성공률 측면에서 모방 학습 기반 접근법을 포함한 기준선(baseline) 방법들을 크게 능가함을 보여줍니다. 또한 휴머노이드 로봇에서 완전 자율적인 실세계 내비게이션, 물체 들어올리기 및 운반 작업을 시연합니다.

arXiv:2610.02196v1cs.RO

InterEvolve: 휴머노이드 로코-조작을 위한 테스트 타임 보상 프로그램 진화

InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation

본 연구에서는 재학습 없이 기존 스킬을 재활용하고, 자체적인 시도로부터 개선하며, 학습한 내용을 유지함으로써 제어기가 한 번도 학습하지 않은 작업을 해결하는 휴머노이드 로코-조작(loco-manipulation)을 위한 테스트 타임(test-time) 진화를 연구한다. 우리의 핵심 통찰은 광범위한 제어기가 이미 새로운 작업에 필요한 역량의 대부분을 보유하고 있으며, 이러한 역량은 접촉이 풍부한 다단계 상호작용을 지정할 수 있을 만큼 표현력이 풍부하면서도 실행 피드백이 경험으로부터 계획을 안내할 수 있을 정도로 실행 가능하고 측정 가능한 계획과 제어 간의 인터페이스를 통해 접근 가능해진다는 점이다. InterEvolve는 두 가지 구성 요소를 통해 이 인터페이스를 구현한다. 첫째, 동결된 신체 사전 지식(body prior) 위의 객체 잔차(object residuals)를 통해 테스트 타임에 신체나 객체에 대한 새로운 보상을 로코-조작 행동으로 전환하는 객체 인식 순방향-역방향(FB) 행동 파운데이션 모델을 개발한다. 둘째, 완료 조건과 튜닝 가능한 상수를 갖춘 단계별 보상인 보상 프로그램으로 작업을 명시한다. 대규모 언어 모델(LLM) 에이전트는 검증된 프로그램 스킬 라이브러리와 실행 피드백을 활용하여 컨텍스트 내에서 프로그램 구조를 수정하며, 수치 옵티마이저는 그 상수를 튜닝한다. 병렬 시뮬레이션 시나리오 전반에서 모든 후보가 검증됨에 따라, 프로그램은 당면한 작업을 위해 제어기의 기존 운동 역량을 유도하고, 재활용하며, 구성하는 새로운 방식을 탐색함으로써 반복을 거치며 개선된다. 실험 결과에 따르면 인간이 설계한 보상은 FB 모델의 로코-조작 역량을 상당 부분 활용하지 못한 채 남겨두는 반면, InterEvolve가 진화시킨 프로그램은 때로는 새로운 전략을 통해 이를 이끌어내는 것으로 나타났다. 나아가 시뮬레이션에서 다양한 작업, 복잡한 장면, 장기적(long-horizon) 구성에 대한 행동을 생성하며, 진화된 스킬은 자기중심적(egocentric) 온보드 인식을 통해 물리적 Unitree G1에서 자율적으로 실행된다.

arXiv:2609.22538v1cs.RO

FRAMES: 휴머노이드 로코-매니퓰레이션을 위한 체화된 스킬의 실패 복구 및 모니터링

FRAMES: Failure Recovery And Monitoring of Embodied Skills for Humanoid Loco-Manipulation

대규모 언어 모델(LLM) 플래너는 자연어 지시를 분해하고 재사용 가능한 로봇 스킬을 선택할 수 있지만, 올바른 스킬을 선택하는 것만으로는 물리적 실행의 성공을 보장하지 못합니다. 이러한 격차는 접근, 파지, 운반 또는 배치 중 발생하는 오류가 긴 시계(long-horizon) 계획의 나머지 부분을 무효화할 수 있는 휴머노이드 로코-매니퓰레이션(loco-manipulation)에서 특히 중요합니다. 본 논문에서는 CEER 전신 제어기(whole-body controller) 위에서 작동하는 Unitree G1 휴머노이드를 위한 실패 인식 감독 프레임워크인 FRAMES를 제시합니다. 플래너 에이전트(Planner Agent)는 매개변수화된 중간 수준 스킬을 통해 하위 작업을 선택하며, 비전-언어 모델(VLM) 기반의 모니터 에이전트(Monitor Agent)는 시계열 다중 뷰 관측과 구조화된 로봇 및 접촉 증거를 사용하여 각 스킬을 평가합니다. 감지된 실패는 활성화된 스킬을 중단시키고 복구 에이전트(Recovery Agent)에 그라운딩된 피드백을 제공합니다. 본 프레임워크는 이전 스킬 경험을 재사용하기 위한 메모리 모듈과 깊이 및 분할(segmentation)을 통한 기하학적 그라운딩을 추가로 포함합니다. 저자들은 5가지 작업에 걸쳐 50회의 실패와 50회의 성공적인 실행으로 구성된 100회의 시행을 사용하여 MuJoCo 환경에서 프레임워크의 모니터링 모듈을 독립적으로 평가합니다. 모니터는 50회 중 48회의 실패를 감지하고, 50회 중 46회의 성공적인 실행을 올바르게 수용하여 94.0%의 전체 정확도를 달성합니다. 이러한 결과는 모니터링 구성요소에 대한 초기 증거를 제공하며, 완전한 복구 루프의 엔드투엔드 평가는 현재 진행 중입니다.

arXiv:2606.11891v1cs.RO

크리틱 아키텍처의 중요성: 휴머노이드 로코-매니퓰레이션을 위한 이중 vs. 통합 크리틱

Critic Architecture Matters: Dual vs. Unified Critics for Humanoid Loco-Manipulation

휴머노이드 로봇을 위한 다목적 강화학습은 단일 정책 내에서 이동(locomotion)과 조작(manipulation)을 조율해야 한다. 자연스러운 설계 선택은 모든 목표의 결합 가치를 추정하는 단일(통합) 크리틱을 사용할지, 아니면 분리된 보상 신호를 가진 별도(이중) 크리틱을 사용할지이다. Unitree G1 휴머노이드(23개 활성 자유도)에 대해 NVIDIA Isaac Lab에서 통제된 비교를 제시하며, 정지 상태에서의 도달부터 가변 방향 목표를 향한 보행까지 13단계에 걸친 순차 커리큘럼을 통해 로코-매니퓰레이션 정책을 학습한다. 표준화된 평가에서 이중 크리틱 정책은 통합 크리틱 정책에 비해 목표에 3.5배 더 빠르게(6.5 vs. 22.6 시뮬레이션 스텝) 도달하고, 2배 더 높은 처리량(1,000 스텝당 14.3 vs. 7.0회의 검증된 도달)을 달성하며, 더 높은 검증된 도달률(65.2% vs. 53.8%)을 보인다. 주목할 점은, 아키텍처 변경만으로도 추가적인 게임 방지(anti-gaming) 보상 메커니즘이 더 이상의 개선을 제공하지 않는다는 것이다(60.9% vs. 65.2%). 이 결과는 모방 학습으로 학습된 정책의 RL 미세조정이라는 새로운 패러다임에 직접적인 함의를 갖는다: RL로 사전학습된 조작 정책을 정교화할 때, 통합 크리틱은 경쟁하는 이동 그라디언트를 통해 학습된 행동을 억압할 위험이 있다. 이러한 결과는 크리틱 아키텍처가 다목적 휴머노이드 RL에서 주요하며 종종 간과되는 설계 선택임을 보여주며, 도달 효율성에 있어 보상 엔지니어링보다 더 큰 영향을 미친다.