PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.26687v2cs.RO

계단형 지형에서 하이브리드 로봇을 위한 에너지 효율적 공중-지상 구동 학습

Learning Energy-Efficient Air--Ground Actuation for Hybrid Robots on Stair-Like Terrain

하이브리드 공중-지상 로봇은 바퀴 구동 이동을 방해하는 장애물을 넘기 위해 추력을 사용할 수 있지만, 접촉 중에 얼마나 추력을 가할지 결정하는 것은 여전히 어렵다. 우리는 이동 모드를 미리 정하지 않고, 단일 연속 정책으로 바퀴, 틸트 서보, 프로펠러를 함께 지휘하는 에너지 인식 강화학습 프레임워크를 제안한다. 하드웨어 보정 전력 모델은 추정 전기 에너지에 페널티를 부과하고, 지형 커리큘럼과 올바른 자세로 안정적으로 도착하는 것에 대한 종단 보상이 추력 보조 등반 학습을 지원한다. 시뮬레이션에서 연속 추력 할당은 계단이 높아질수록 고정 추력 및 모드 전환 베이스라인보다 단일 계단 통과 높이를 개선한다. 바퀴 반경 높이의 계단에서는 최적 고정 할당보다 평균 전력을 약 27% 적게 소모한다. 에너지 가중치 ablation은 효율성과 신뢰성 사이의 동반되는 절충을 보여준다. 물리적 DoubleBee 프로토타입에서, 배포 인터페이스를 갖춘 변경 없는 네트워크는 10회 시도 중 8회 두 개의 6cm 계단을 통과한다. 추가 하드웨어 테스트는 서로 다른 지형 기하로의 전이 가능성과 방향 제어, 접촉 강건성 및 복구에 남아 있는 한계를 모두 보여준다.

arXiv:2607.21867v1cs.AI

학습된 명령 어댑터는 언제 가치가 있는가? 동결된 이동 정책의 폐루프 식별 및 반사실 감사

When Is a Learned Command Adapter Worth It? Closed-Loop Identification and Counterfactual Auditing of Frozen Locomotion Policies

동결된 명령 조건 이동 정책에 학습된 어댑터를 추가하는 것은, 인터페이스가 실제이면서 배포 시점 관측으로부터 회수 가능한 개선을 드러낼 때에만 가치가 있다. 우리는 전역 운영점 이득, 동일 상태 반사실적 여유(headroom), 교차 적합(cross-fitted) 고정 행동 대비 배포 이득, 주파수 매칭 무작위 정책 대비 상태 할당 이득을 분리하는 어댑터 필요성 감사를 도입한다. 소스 클러스터 학습자 재적합(refits)은 이러한 양과 제약 위반을 GO/NO-GO/ABSTAIN 결정에 매핑한다. 폐루프 명령-응답 식별은 선택적 결정 특징을 제공한다. Go2에서, 보관된 scale-접두 문맥 진단은 5.2%의 동일 상태 여유를 찾지만 회수된 할당 이득은 0.55%에 불과하다. 확인 감사는 200회 전체 학습자 재적합을 사용하여, 직접 제어, VGCC, MPC에 의해 유도된 세 가지 쿼리 분포 각각에 대해 20개의 독립 클러스터에서 direct, scale, heading, yaw 개입을 평가한다. 1% 배포 및 할당 임계값과 5% 위반 허용치에서, 직접 쿼리는 NO-GO를 반환하고 VGCC 및 MPC 쿼리는 ABSTAIN을 반환한다. VGCC는 평균 배포 이득이 가장 크지만(1.34%), 할당 하한은 0.09%이고 위반 상한은 6.25%이다. 배포 대표적인 20클러스터 H1 감사도 NO-GO를 반환하는 반면, 학습자 수준 합성 대조(synthetic control)는 GO를 반환한다. 따라서 이 감사는 어댑터가 가치 있다고 가정하는 대신, 관측 가능한 신호가 상태 의존적 적응을 정당화하는지를 검증한다.

arXiv:2607.13579v1cs.RO

야외 환경에서 사족보행 로봇을 위한 민첩한 인지 기반 다중 기술 보행

Agile perceptive multi-skill locomotion for quadrupedal robots in the wild

사족보행 로봇이 험준한 야외 환경부터 도시 풍경에 이르는 복잡한 지형을 횡단하게 하려면, 여러 운동 기술의 원활한 통합, 보행 패턴(gait) 간의 매끄러운 전환, 그리고 온보드 센서만을 이용한 고속 인지 기반 보행이 필요하다. 우리는 APT-RL(Action Pretrained Transformer-based Reinforcement Learning)을 제안한다. 이는 온보드 지각과 연산만을 활용한 자율적 기술 전환을 통해 복잡한 환경에서 고속 횡단을 달성하는 다중 기술 보행을 가능하게 하는 통합 프레임워크이다. 우리의 접근법은 단순화된 동역학을 이용한 궤적 최적화를 통해 대규모의 특징 풍부 2D 동작 데이터셋을 생성한다. 이 데이터셋은 복잡하고 고르지 않은 지형에서 작동하는 실제 사족보행 로봇으로 효과적으로 전이되는 다양하고 재사용 가능한 보행 기술의 학습을 가능하게 한다. 그 결과 얻어진 고품질 기술은 복잡한 하류 작업의 효율적 학습을 위한 강력한 사전(prior)으로 작용하며, 3D 환경으로 자연스럽게 확장되어 배포된 정책에서 매끄럽고 고속의 다중 기술 보행을 가능하게 한다. 실세계 실험은 이 프레임워크의 능력을 입증한다. 로봇은 복잡한 실내 장애물과 야외 자연 환경에서 민첩한 기동을 수행하며, 순간 최고 속도 최대 6m/s에 달하는 동적 낙하(drop-down) 기동을 포함한다. 단일 온보드 정책은 계단, 허들, 징검다리, 틈, 쓰러진 가지 등 다양한 장애물을 견고하게 횡단할 수 있게 하며, 우리 접근법의 다재다능함과 효과를 보여준다.

arXiv:2510.12363v4cs.RO

로코모션 액터-크리틱 강화학습에서의 사전학습

Pretraining in Actor-Critic Reinforcement Learning for Locomotion

최근 몇 년간 사전학습-파인튜닝 패러다임은 인공지능 연구에서 수많은 변혁적인 발전을 이끌어왔다. 그러나 로봇 로코모션을 위한 강화학습(RL) 분야에서는, 동일한 로봇 embodiment에 속하는 모든 과제별 정책들 간에 일반화 가능한 지식이 공유될 가능도가 높음에도 불구하고 개별 기술을 종종 처음부터 학습한다. 본 연구는 이러한 지식을 담아내고, Proximal Policy Optimization(PPO)과 같은 고전적인 액터-크리틱 알고리즘에서 RL 과정을 warm-start할 수 있는 기반으로 이후 활용될 수 있는 신경망 모델의 사전학습 패러다임을 정의하는 것을 목표로 한다. 우리는 과제에 무관한 탐험 기반 데이터 수집 알고리즘으로 시작하여 다양하고 동적인 전이(transition) 데이터를 수집하며, 이를 지도 학습을 통해 Proprioceptive Inverse Dynamics Model(PIDM)을 학습하는 데 사용한다. 사전학습된 가중치는 그다음 액터 및 크리틱 네트워크 양쪽에 로드되어 실제 과제의 정책 최적화를 warm-start한다. 제안 방법을 3가지 서로 다른 로봇 embodiment로 구성된 9개의 서로 다른 로봇 로코모션 RL 환경에서 체계적으로 검증하였으며, 이 초기화 전략의 상당한 이점을 보였다. 제안 접근법은 무작위 초기화와 비교하여 평균적으로 샘플 효율을 36.2%, 과제 성능을 4.3% 향상시킨다. 또한 본 방법의 효과성 이면의 메커니즘을 밝히는 핵심 ablation 연구 및 실증 분석을 제시한다.

arXiv:2606.18132v1cs.AI

메타 강화학습에서의 지식 재활용

Knowledge Reutilization in Meta-Reinforcement Learning

메타 강화학습은 관련 작업에서 공유 구조를 추출하여 빠른 적응을 가능하게 하지만, 기존 엔드투엔드 방식은 종종 작업 추론을 구현체 특정 제어와 결합합니다. 이러한 결합은 비모수적 작업 의미론을 모호하게 만들고, 샘플 효율성을 저하시키며, 에이전트 간 재사용을 제한할 수 있습니다. 본 연구에서는 역학이 단순화된 에이전트에서 작업 수준 지식을 학습하여 이종 에이전트로 전이하는 메타 지식 재활용 프레임워크를 제안합니다. 해당 프레임워크는 잠재 작업 모드를 구성하기 위해 베이지안 비모수적 사전을 사용하고, 작업 수준 크기 지침을 생성하기 위해 고수준 정책을 사용합니다. 재사용 가능한 작업 지식과 서로 다른 구현체를 연결하기 위해 의미-크기 인터페이스와 경량 시간적 적응기를 도입하여, 동결된 메타 지식을 구현체 특정 저수준 컨트롤러를 위한 시간적으로 정렬된 하위 목표로 변환합니다. 다양한 이동 에이전트에 대한 실험 결과, 제안하는 프레임워크는 최신 기준 모델 대비 최종 단계 추적 오차를 94.75% -- 99.79% 감소시켰으며, 약 23.8%의 상호작용 데이터만으로도 동등한 수준의 배포 성능을 달성했습니다.