PyTorchKR Papers

최신 논문

총 37편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00033v3cs.RO

Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

인간 시연에서 물체에 가해지는 힘과 토크를 중심으로 한 접촉 렌치 공간(contact wrench space) 가이던스를 강화학습에 적용하는 CHORD 프레임워크를 제안하며, 서로 다른 신체 구조의 로봇도 인간 시연의 기계적 효과를 공유 표현으로 비교할 수 있게 한다. 4,739개의 양손 정교 조작 태스크 벤치마크에서 82.12%의 평균 성공률을 달성하고, 전신 조작 태스크에서도 90.77%의 성공률로 실제 로봇 환경까지 정책 이전을 검증했다.

arXiv:2606.11901v2cs.RO

DuoBench: 시뮬레이션과 실제 환경에서의 양팔 조작을 위한 재현 가능한 벤치마크

DuoBench: A Reproducible Benchmark for Bimanual Manipulation in Simulation and the Real World

Bimanual robot systems substantially expand manipulation capabilities, but coordinating two arms introduces additional control complexity and failure modes that are not well captured by existing benchmarks. We introduce DuoBench, an extensible benchmarking framework for bimanual manipulation policies on the FR3 Duo platform. DuoBench comprises eleven tasks spanning four coordination categories, implemented in simulation and partially replicated in the real world through reproducible task recipes with 3D-printable assets. In addition, we propose a stage-based evaluation scheme that supports fine-grained semantic failure analysis beyond binary success. It includes stage-conditional pass rates with confidence intervals as well as human-teleoperated datasets for all benchmark tasks. We benchmark several imitation-learning and vision-language-action policies in simulation and on real hardware. Our results show that current policies remain challenged by bimanual manipulation, particularly at the beginning of interaction, during parallel arm execution, and in sim-to-real transfer settings. We further find that simulation reveals the same failure modes as real-world experiments. DuoBench provides a reproducible testbed for analyzing them and studying future methods for dual-arm policy learning. Code, datasets, and videos are available at https://duobench.github.io

arXiv:2607.21628v3cs.AI

구조적·의미적 일관성을 유지하는 시뮬-투-리얼 변환을 위한 웨이블릿 위상 확산

Wavelet Phase Diffusion for Structurally and Semantically Consistent Sim-to-Real Translation

Simulation-to-reality translation must bridge the appearance gap between synthetic and real domains while preserving structural and semantic consistency. Conditioning-based methods achieve spatial alignment but introduce computationally expensive control modules. Paired-data methods achieve realism but rely on complex synthesis pipelines, often altering scene geometry and semantics. Training-free editing methods avoid both constraints but lack a learned appearance prior, limiting their perceptual quality. Recently proposed phase-preserving diffusion presents a promising alternative, but Fourier-domain formulations are constrained by global spectral coupling. This coupling induces spatial artifacts such as ringing and boundary leakage, thereby degrading structural and semantic consistency. We introduce Wavelet Phase Diffusion, which addresses this through two components. First, we operate in the Dual-Tree Complex Wavelet Packet Transform domain, whose localized wavelet packets enable spatially adaptive phase injection without global spectral interference. Second, Low-Frequency Randomization (LFR) replaces the low-frequency packet, decoupling the model from the synthetic illumination prior and enabling in-distribution real-world appearance. Both components train on unpaired open-domain data, and introduce negligible inference overhead. The spatial locality further enables instance-level translation, where individual objects or regions are translated to photorealistic appearance independently while the surrounding scene remains untranslated. On vKITTI $\to$ KITTI image translation, $\psi$-PD outperforms prior methods in realism and semantic consistency while maintaining competitive structural alignment. For CARLA video translation, $\psi$-PD approaches the realism of paired-data methods while reducing VLM planner ADE and FDE by $5.4\%$ and $5.1\%$, respectively.

arXiv:2602.16863v3cs.RO

SimToolReal: 제로샷 정밀 도구 조작을 위한 객체 중심 정책

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

도구를 조작하는 능력은 로봇이 수행할 수 있는 작업의 범위를 크게 확장합니다. 하지만 도구 조작은 얇은 물체 파지, 손 안에서의 물체 회전, 강한 힘의 상호작용을 요구하므로 정밀한 손동작(dexterity) 중에서도 까다로운 범주에 속합니다. 이러한 동작에 대한 원격 조작 데이터를 수집하는 것은 어렵기 때문에, 시뮬레이션-현실 간(sim-to-real) 강화학습(RL)이 유망한 대안으로 꼽힙니다. 그러나 기존 접근 방식들은 일반적으로 각 작업마다 물체를 모델링하고 보상 함수를 튜닝하는 데 상당한 엔지니어링 노력을 필요로 합니다. 본 연구에서는 도구 조작을 위한 sim-to-real 강화학습 정책 일반화를 향한 진전으로서 SimToolReal을 제안합니다. 단일 물체와 단일 작업에 집중하는 대신, 시뮬레이션 환경에서 절차적 생성 방식으로 매우 다양한 도구 형태의 기초 물체(object primitives)를 생성하고, 각 물체를 무작위 목표 자세로 조작한다는 범용적인 목표 아래 단일 강화학습 정책을 학습시킵니다. 이러한 접근법을 통해 SimToolReal은 특정 물체나 작업에 특화된 별도의 학습 없이도 테스트 시점에 일반적인 정밀 도구 조작을 수행할 수 있습니다. 실험 결과, SimToolReal은 기존의 리타기팅 및 고정 파지 방식 대비 37% 향상된 성능을 보였으며, 특정 목표 물체와 작업에 대해 학습된 전문가 강화학습 정책과 대등한 성능을 달성함을 입증했습니다. 마지막으로 SimToolReal이 다양한 일상 도구 전반에 걸쳐 일반화됨을 보여주며, 24개 작업, 12개 물체 인스턴스, 6개 도구 범주에 걸친 120회의 실제 환경 롤아웃에서 강력한 제로샷(zero-shot) 성능을 달성함을 확인했습니다.

arXiv:2610.00008v1cs.RO

유계 충실도 데모 단계 시뮬레이션: 거버넌스 벤치마크를 위한 모캡 핸드오프

Bounded-Fidelity Sim-as-Demo-Stage: Mocap Handoff for Governance Benchmarks

Sim-to-real 연구는 물리학적 충실도(physics fidelity)를 주요 목표로 삼으며, 시뮬레이터는 실제 환경의 접촉 역학(contact dynamics)을 얼마나 정밀하게 재현하는가에 따라 평가됩니다. 시뮬레이터가 승인/정책/계약/감사 파이프라인의 올바른 동작을 입증해야 하는 대규모 언어 모델(LLM) 구동 로봇의 거버넌스 벤치마킹에서는 물체 핸드오프(잡기, 운반, 배치) 과정의 접촉 충실도가 오히려 걸림돌이 됩니다. 접촉력(contact-force) 적분 노이즈가 테스트 대상인 거버넌스 특성과는 구조적으로 무관한 감사 체인 발산(audit-chain divergence)을 유발하기 때문입니다. 본 논문에서는 명시적으로 지정된 핸드오프 구간 내에서는 접촉 물리학을 억제하고 그 외 영역에서는 완전한 역학을 보존하는 디자인 패턴인 '유계 충실도 데모 단계 시뮬레이션(bounded-fidelity sim-as-demo-stage)'을 제안합니다. 이 구조는 MuJoCo의 모캡 바디(mocap-body) 프리미티브를 사용하며, 거버넌스 브리지가 구조화된 의도를 통해 호출하는 220줄 분량의 Python 어댑터로 구동됩니다. 본 연구에서는 재생(replay) 전반에 걸친 해시화된 이벤트 로그의 바이트 일치성으로 감사 체인 안정성을 공식화하고, 이를 보장하는 두 가지 구조적 엔벨로프 특성을 규명합니다. 자세(posture)당 N=1000회의 재생 실험에서 모캡 변형은 단 1개의 고유한 감사 체인 해시를 생성한 반면(1000/1000 바이트 일치, Wilson 95% CI [0.997, 1.000]), 접촉력 기준선(baseline)은 584개의 고유 해시를 생성했습니다(993/1000 발산, CI [0.987, 0.998]). 타임스텝 스윕(1, 2, 5, 10 ms) 결과 이러한 발산은 튜닝 인위물(artefact)이 아닌 구조적 문제임이 확인되었으며, 모든 타임스텝에서 0.985 수준을 유지했습니다. 엔벨로프 경계 타이밍 지터(+/-10 시뮬레이션 스텝, 1,400회 재생)에서도 발산이 0건 발생했으며, 순차적으로 핸드오프되는 K in {1, 2, 3}개 물체에 대한 실험(1,500회 재생)에서도 픽앤플레이스(pick-and-place)당 서브리니어 오버헤드를 보이며 감사 체인이 바이트 단위로 동일하게 유지되었습니다. 이 패턴은 벤치마크 설계자에게 거의 제로에 가까운 엔지니어링 비용으로 감사 체인 재현성을 제공합니다. 또한 잘못 적용되지 않도록 부적합한 영역(sim-to-real 검증, 정책 학습, 접촉이 많은 작업)도 명확히 제시합니다.

arXiv:2602.02269v2cs.RO

multipanda_ros2를 통한 시뮬레이션-현실 격차(Sim-to-Real Gap) 해소: 다중 매뉴얼 시스템을 위한 실시간 ROS2 프레임워크

Bridging the Sim-to-Real Gap with multipanda_ros2: A Real-Time ROS2 Framework for Multimanual Systems

본 논문에서는 Franka Robotics 로봇의 다중 로봇 제어를 위한 새로운 오픈소스 ROS2 아키텍처인 $multipanda\_ros2$를 제시합니다. ros2 control을 활용하는 이 프레임워크는 단일 프로세스에서 임의의 수의 로봇을 제어할 수 있는 네이티브 ROS2 인터페이스를 제공합니다. 본 연구의 핵심 기여는 상호작용 제어 및 로봇-환경(environment) 모델링을 포함하여 실시간 토크 제어의 주요 과제들을 해결하는 것입니다. 본 연구의 중심 초점은 실시간 제어의 필수 조건이자 안전 표준에서 요구하는 최소 주파수인 1kHz 제어 주파수를 유지하는 것입니다. 나아가, $\le 2$ ms의 제어기 전환 지연을 가능하게 하는 컨트롤릿-특징(feature) 설계 패턴을 도입하여 재현 가능한 벤치마크(benchmark)와 복잡한 다중 로봇 상호작용 시나리오를 지원합니다. 시뮬레이션-현실(sim2real) 격차를 좁히기 위해, 기구학적 정확도와 동역학적 일관성(토크, 힘 및 제어 오차) 모두에 대한 정량적 지표를 갖춘 고충실도 MuJoCo 시뮬레이션을 통합합니다. 또한, 실제 세계의 관성 매개변수(parameter) 식별이 힘과 토크의 정확도를 크게 향상시킬 수 있음을 입증하여 반복적인 물리 개선 방법론을 제공합니다. 본 연구는 소프트 로보틱스의 접근 방식을 강체 이중 팔 및 접촉이 많은 작업으로 확장하여 sim2real 격차를 줄이는 유망한 방법을 보여주며, 첨단 로보틱스 연구를 위한 견고하고 재현 가능한 플랫폼을 제공합니다.

arXiv:2606.27163v3cs.RO

접기를 배우다: LeHome Challenge 2026 수상 솔루션 (온라인 1위, 오프라인 2위)

Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

양손 의류 접기 ICRA 2026 LeHome Challenge에서 온라인 시뮬레이션 62팀 중 1위, 실세계 결승 2위를 기록했다. 강화학습(RL) 루프로 비전-언어-행동(VLA) 정책을 개선하며, 행동·성공·진행도를 동일 네트워크가 예측하는 자기 가치 함수 설계로 이득(advantage) 추정·실패 감지·후보 선택을 수행하고, flow-matching VLA용 AWR+RECAP, HuggingFace Hub 비동기 분산 학습, Thompson sampling 추론 튜닝, sim-to-real 데이터 수집 레시피를 함께 쓴다.

arXiv:2609.24906v1cs.RO

하이브리드 강화학습을 이용한 평면형 과수원 시각-운동 로봇 가지치기

Visuomotor Robotic Pruning in Planar Orchards Using Hybrid Reinforcement Learning

휴면기 나무 가지치기는 노동 집약적이지만 현대의 고생산성 과수원을 유지하는 데 필수적이다. 본 연구에서는 줄기와 주지가 대략 평면 벽 형태로 유도되는 현대 평면형 나무 재배 시스템—V-Trellis 사과와 UFO 체리—의 가지치기에 초점을 둔다. 로봇 가지치기를 위한 폐루프 시각-운동(visuomotor) 제어기를 학습하는 end-to-end 파이프라인을 제안한다. 이 제어기는 시뮬레이션과 합성 생성 데이터만으로 전적으로 학습되며, 제로샷(zero-shot) 방식으로 실제 과수원에 배포된다. 파이프라인은 평면형 과수원 나무 메시의 합성 생성, 물리 기반 과수원 시뮬레이터 구축, 모션 플래닝(motion planning)을 통한 성공적인 가지치기 궤적의 자동 수집, 오프라인 시연과 온라인 시뮬레이션 롤아웃(rollout)을 결합하는 새로운 하이브리드 강화학습 알고리즘을 이용한 정책 학습으로 구성된다. 제어기는 손목 장착 카메라의 optical flow 입력을 사용—전체 3D 재구성이 필요 없음—하여 복잡한 가지 환경에서 지정된 절단점까지 올바른 공구 방향으로 절단기를 연속적으로 안내한다. 3,000개 가지치기 지점에 대한 포괄적인 시뮬레이션 작업 공간 평가에서 정책은 V-Trellis 사과에서 49.9%, UFO 체리에서 46.0%의 성공률을 달성한다. 학습된 제어기를 상업 및 실험 과수원에서의 28회 옥외 현장 시험과 10회 실내 실험실 시험을 포함한 38회 물리 시험에서 검증하여 제로샷 sim-to-real 전이를 입증한다. 학습된 정책은 또한 실험실 시험의 물리 하드웨어에서 고전 RRT-Connect 기준선을 능가한다.

arXiv:2607.10309v3cs.AI

Sim-to-Real 격차 측정: AIoT 시스템에서 강화학습을 위한 저비용 실세계 벤치마크 플랫폼 설계

Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems

강화학습(RL)은 자율 사물인터넷(AIoT)을 포함한 자율 시스템의 성능 향상에 널리 사용된다. 그러나 RL의 시행착오 특성상 실제 환경에서 수행하면 비용이 크고 일부 시나리오에서는 위험하다. 따라서 RL 연구의 대부분은 시뮬레이션에서 이루어진다. 이러한 의존은 Sim-to-Real 전이 가능성과 관련된 과제를 야기한다. Sim-to-Real 알고리즘의 견고성과 Sim-to-Real 격차를 평가하는 것은 실세계에서 RL 성능을 개선하기 위한 연구의 중요한 전제 조건이다. 따라서 로보틱스 등 산업에서는 이러한 연구를 지원하기 위해 시뮬레이션과 물리 플랫폼을 병행 개발해 왔다. 그러나 AIoT를 위한 범용 Sim-to-Real 벤치마크 플랫폼은 현재 존재하지 않는다. 이러한 문제를 해결하기 위해, 우리는 AIoT에서 RL을 연구하기 위한 실세계 AIoT 플랫폼을 개발했다. 이 플랫폼에서 엣지 디바이스에 배포된 에이전트는 시각 입력에 따라 안내되며, 하드웨어 에뮬레이션 키보드를 통해 별도의 호스트 컴퓨터에서 비디오 게임을 플레이한다. 이 플랫폼은 400 USD 미만의 상용 부품과 컴퓨터 두 대로 구성된다. 시스템의 목표가 게임 점수 최대화이므로, 실세계 RL 배포와 관련된 안전 위험을 본질적으로 완화한다. 실험 결과, 시뮬레이션에서 학습된 에이전트는 실세계 배포 후 인간 수준 성능 대비 1160%의 성능 저하를 겪었으며, 이는 상당한 Sim-to-Real 격차를 나타낸다. 심층 Q 네트워크(DQN) 알고리즘을 이용한 직접 실세계 학습은 1천만 학습 스텝 후 인간 수준 성능의 약 49%를 달성하여, 실세계 조건에서 RL의 실현 가능성을 보여준다. 이러한 결과는 제안한 Sim-to-Real 벤치마크 플랫폼이 실세계 AIoT 시스템에서 RL에 대한 정성적·정량적 평가를 위한 실질적인 기반을 제공함을 시사한다.

arXiv:2605.11151v3cs.AI

RankQ: 자기지도 행동 순위화를 통한 오프라인-투-온라인 강화학습

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

오프라인-투-온라인 강화학습(RL)은 온라인 상호작용 이전에 사전 수집된 데이터셋을 활용하여 샘플 효율성을 향상시킵니다. 그러나 데이터셋의 커버리지가 제한적인 대규모 상태-행동 공간에서 정확한 크리틱(critic)을 학습하는 것이 주요 난제로 남아 있습니다. 가치 과대추정으로 인한 유해한 업데이트를 완화하기 위해 기존 방법들은 데이터셋 행동 대비 분포 외(OOD) 행동의 가중치를 낮추는 방식으로 비관주의(pessimism)를 적용합니다. 이는 효과적이기는 하나 본질적으로 행동 복제(behavior cloning) 닻 역할을 하여 데이터셋 행동이 차선책일 경우 후속 온라인 정책 개선을 저해할 수 있습니다. 본 연구에서는 구조화된 행동 순서를 강제하기 위해 시간차 학습(temporal-difference learning)에 자기지도 다중 항 순위화 손실을 결합한 오프라인-투-온라인 Q-러닝 목적 함수인 RankQ를 제안합니다. RankQ는 보이지 않는 행동에 일률적인 페널티를 부여하는 대신 상대적인 행동 선호도를 학습함으로써 행동 그래디언트가 더 높은 품질의 행동을 향하도록 Q-함수를 형성합니다. 희소 보상 D4RL 벤치마크 전반에서 RankQ는 7개의 베이스라인 대비 경쟁력 있는 전반적 성능을 달성합니다. 비전 기반 로봇 학습에서 RankQ는 데이터가 적은 환경에서도 사전학습된 비전-언어-행동(VLA) 모델의 효과적인 오프라인-투-온라인 미세조정을 가능하게 하여, 차상위 방법 대비 평균 시뮬레이션 성공률을 38.2%p 높였습니다. 데이터가 많은 환경에서 RankQ는 차상위 방법 대비 시뮬레이션 성능을 13.7%p 향상시켰으며, VLA의 초기 성능 대비 실제 환경 큐브 쌓기 성공률을 43.1%에서 88.9%로 증가시켜 강력한 sim-to-real 전이를 입증했습니다.

arXiv:2411.15042v3cs.RO

5G 무선 응용 분야를 위한 월드 모델 기반 예측 내비게이션 및 적응형 학습 알고리즘을 통한 자율주행 안전성 향상

Enhancing Autonomous Driving Safety through World Model-Based Predictive Navigation and Adaptive Learning Algorithms for 5G Wireless Applications

오늘날 5G 무선 통신 환경에서 급속히 발전하는 자율주행 영역에서 끊임없이 변화하고 예측하기 어려운 환경의 안전성을 보장해야 하는 과제를 해결하기 위해, 본 논문에서는 Navigation Secure(NavSecure)를 제안한다. 이 비전 기반 내비게이션 프레임워크는 월드 모델(world model)의 강점과 안전 중심의 핵심 의사결정 역량을 결합하여, 자율주행 차량이 실제 환경의 복잡성을 안전하게 주행할 수 있도록 지원한다. 제안하는 접근법은 월드 모델의 예측 능력을 활용하여 잠재적 위협을 예측하고 더 안전한 경로를 생성함으로써, 광범위한 실제 환경 시행착오 학습의 필요성을 대폭 줄인다. 또한 본 방식은 차량이 지속적인 연습을 통해 자율적으로 학습하고 발전할 수 있도록 지원하여 시스템이 새로운 도전 과제에 맞춰 진화하고 적응하도록 보장한다. 무선 주파수(RF) 기술을 통합한 NavSecure는 5G 네트워크를 활용해 실시간 데이터 교환을 강화하고 통신 및 반응성을 개선한다. 시뮬레이션-실제(simulation-to-real) 주행 조건에서의 엄격한 실험을 통해 검증된 NavSecure는 급작스러운 장애물 회피와 같은 안전에 결정적인 시나리오에서 뛰어난 성능을 입증했다. 결과에 따르면 NavSecure는 충돌 방지 및 위험 감소를 포함한 주요 안전 지표에서 우수한 성능을 보이며 다른 엔드투엔드(end-to-end) 방법론을 능가한다. 이 프레임워크는 자율주행 안전성을 발전시킬 뿐만 아니라 중요한 응용 분야에서 월드 모델이 의사결정을 어떻게 향상시킬 수 있는지를 보여준다. NavSecure는 실제 환경 고유의 동역학 및 불확실성을 처리할 수 있는, 보다 강력하고 신뢰할 수 있는 자율주행 시스템 개발을 위한 새로운 기준을 제시한다.

arXiv:2605.29032v3cs.LG

정책 인식 시뮬레이터 학습을 위한 이론적 기반과 효과적인 알고리즘

Theoretical Foundations and Effective Algorithms for Policy-Aware Simulator Learning

모델 기반 강화학습(MBRL) 에이전트는 일반적으로 예측 손실을 최소화하여 월드 모델을 학습한다. 그러나 강력한 강화학습 옵티마이저는 불가피하게 미세한 모델 부정확성을 활용하여 시뮬레이터 활용 문제와 현실 격차를 야기하며, 이로 인해 정책이 시뮬레이션에서는 성공하지만 실제 환경에서는 실패한다. 우리는 시뮬레이터 학습의 목표가 예측 정확도보다 전략적 견고성이어야 한다고 제안하고, 이를 모델 플레이어와 적대적 정책 플레이어 간의 제로섬 미니맥스 게임으로 형식화한다. 우리는 포괄적인 이론적 분석을 제공한다: (1) 게임이 준선형 후회 경계로 학습 가능함을 보이는 온라인 학습 보장; (2) 전역 정책-가치 격차를 지역 크리틱의 손실로 한정하는 추적 가능한 크리틱 기반 단순화; (3) 최악의 경우 정책을 찾는 것이 보상이 단일 단계 크리틱 오류인 표준 강화학습 문제의 쌍대임을 증명하는 오류-MDP 쌍대성. 이 쌍대성은 수렴이 증명된 능동적 데이터 선택 알고리즘을 도출한다. 연속 제어 태스크에 대한 실험에서 우리의 접근법이 전략적으로 중요한 영역에서 예측 오류를 $1.5$–$2.2\times$ 감소시키고, 순수하게 시뮬레이션에서 학습된 정책이 실제 환경의 거의 최적 성능에 필적할 수 있음을 보인다.

arXiv:2607.22973v1cs.CV

mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습

mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction

밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.

arXiv:2607.14182v1cs.RO

동적 휴머노이드 전신 제어를 위한 의미 기반 오디오 주도 이해

Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control

최근 휴머노이드 로보틱스와 강화학습의 발전으로 고도로 표현력 있는 전신 운동 정책을 획득할 수 있게 되었다. 그러나 대부분의 로봇 공연은 여전히 사전 스크립트된 시퀀스 또는 외부로 트리거되는 행동에 기반하여, 동적 환경에 대한 자율성과 반응성을 제한한다. 본 연구에서는 의미 기반 오디오 주도 휴머노이드 제어를 위한 새로운 다중 모달 오케스트레이션 프레임워크를 제안하여, 로봇이 실시간으로 적절한 운동 스킬을 자율적으로 선택하고 실행할 수 있게 한다. 이 시스템은 연속적인 오디오 스트림을 처리하여 음악 또는 음성 분기로 라우팅한다. 음악 입력은 오디오 핑거프린팅과 의미 임베딩을 통해 트랙 식별과 시간적 정렬을 검색하며, 음악 구간과 운동 정책 간의 동적 매핑을 가능하게 한다. 음성 입력은 모방 학습으로 학습된 스킬의 이산 라이브러리에 그라운딩되어 직접적인 인간-로봇 상호작용을 가능하게 한다. 두 모달리티는 강화학습 제어 파이프라인 위에서 스킬 실행을 스케줄링하는 통합 인터페이스를 공유한다. 우리는 시뮬레이션과 Unitree G1 휴머노이드에서 이 접근법을 검증하여, 견고한 sim-to-real 전이와 일관된 오디오 조건화 정책 선택을 보여준다. 보충 자료는 다음 사이트에서 확인할 수 있다: https://lab-rococo-sapienza.github.io/semantic-WBC/

arXiv:2607.13653v1cs.CV

탐험적, 소통형, 그리고 배포 가능한: 오픈 월드 모바일 매니퓰레이션을 위한 비전 주도 체화 에이전트

Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation

체화 에이전트의 실제 환경 배포에는 능동적 탐험, 시각적 그라운딩, 그리고 대화형 의도 모호성 해소가 필요하다. 그러나 기존 프레임워크는 종종 특권적인 시뮬레이터 상태에 의존하거나 완전한 지시를 가정하여 현실적인 배포 과제를 우회하는 경우가 많다. 이 간극을 메우기 위해, 우리는 오픈 월드 모바일 매니퓰레이션을 위한 에이전트형 프레임워크인 REAL을 제안한다. REAL은 오라클 인식 없이 sim-to-real 일관성 환경 API를 구축하고, human-in-the-loop 상호작용을 가능하게 하기 위해 시뮬레이션 사용자를 통합한다. 이 환경 내에서 우리는 데이터 수집, 지도 미세조정, 온라인 강화학습을 이끌기 위해 다양한 과제 구성을 설계하고, 에이전트 성능을 체계적으로 최적화한다. 이 접근법을 종합적으로 평가하기 위해, 능동적 탐험, 시각적 방해, 관절형 조작, 대화형 모호성 해소에 걸친 241개 과제를 아우르는 벤치마크 REAL-Bench를 도입한다. 실험 결과, 우리가 학습한 에이전트가 대화형 과제에서 56.9%의 성공률로 주요 상용 폐쇄형 VLM을 능가함을 보여준다. 추가 실증 분석은 우리의 계층적 학습 파이프라인이 확장된 탐험 지평 하에서 견고한 오픈-어휘 추론을 유지하면서 모델의 도구 사용 능력을 성공적으로 정렬함을 밝힌다. 마지막으로 우리는 물리적 양팔 이동 로봇에 프레임워크를 배포·평가했으며, 60회의 실세계 에피소드에서 78.3%의 end-to-end 성공률을 달성했다. 이 물리 실험은 보지 못한 가정 시나리오에 대한 견고한 제로샷 전이 가능성을 보여 주며, sim-to-real 일관 설계가 장기간 모바일 매니퓰레이션에서 현실 격차를 성공적으로 메웠음을 검증한다. 코드는 https://github.com/InternRobotics/REAL 에서 제공된다.

arXiv:2607.12105v1cs.RO

강화학습과 기계 설계의 사전지식을 활용한 견고한 손내 조작

Robust In-Hand Manipulation via Priors in Reinforcement Learning and Mechanical Design

외부 센싱 없이 수행하는 손내 조작은 손가락-물체 접촉의 불확실성과 중력에 의한 교란 때문에 어렵다. 강화학습은 복잡한 손가락 보행(finger gaiting) 학습에서 유망함을 보였지만, 기존 접근법은 지속적인 조작을 위해 잘 조건화된(well-conditioned) 파지를 유지하는 것을 우선시하지 않는다. 본 연구는 견고한 손내 구르기(rolling)를 위해 두 가지 상보적인 물리 사전지식(prior)을 제안한다: 고전적 파지 분석에서 유도된 전역 파지 품질 사전지식과 손가락 끝 곡률에 기반한 국소 접촉 기하 사전지식이다. 파지 품질 사전지식은 접촉이 균등하게 분포하고 최악의 경우(worst-case) wrench 저항력이 향상되도록 장려하는 밀집(dense) 보상 형성(reward-shaping) 항으로 사용된다. 접촉 기하 사전지식은 접촉 인터페이스를 과제에 정렬된 구르기 방향으로 기계적으로 형성하고 축 이탈(off-axis) drift를 줄이도록 손가락 끝 기하에 구현된다. 다손 로봇 손이 네 가지 손바닥 방향에서 세 가지 서로 다른 물체를 조작하는 손내 구르기 조작 학습에 이러한 사전지식의 효과를 평가한다. 결과는 회전 효율, 파지 안정성, 교란 억제에서 유의미한 개선을 보여주며, 학습과 손가락 끝 형태(morphology) 모두에 내재된 물리 사전지식이 과제 견고성과 sim-to-real 전이를 향상시킴을 시사한다. 개요 영상은 https://youtu.be/pdd1wHxQnJM?si=dM-U5kiiPTYsk3Pk 에서 확인할 수 있다.

arXiv:2404.03578v3cs.LG

상호작용적 데이터 수집을 통한 분포적으로 강건한 강화학습: 근본적 난이도와 근최적 알고리즘

Distributionally Robust Reinforcement Learning with Interactive Data Collection: Fundamental Hardness and Near-Optimal Algorithms

학습 환경과 테스트 환경 간의 불일치를 나타내는 시뮬레이션-실제 격차(sim-to-real gap)는 강화학습(RL)에서 중요한 과제이다. 이 문제를 해결하기 위한 유망한 접근법은 분포적으로 강건한 강화학습으로, 흔히 강건한 마르코프 결정 과정(RMDP, Robust Markov Decision Process)으로 형식화된다. 이 프레임워크에서의 목표는 학습 환경을 중심으로 사전에 지정된 불확실성 집합 내의 모든 환경 중 최악의 시나리오 하에서도 우수한 성능을 달성하는 강건한 정책을 찾는 것이다. 생성 모델이나 배포 환경을 충분히 커버하는 사전 수집된 오프라인 데이터셋에 의존하는 기존 연구와 달리, 본 논문은 학습자가 학습 환경과만 상호작용하며 시행착오를 통해 정책을 개선하는 상호작용적 데이터 수집을 통한 강건한 강화학습을 다룬다. 이 강건한 강화학습 패러다임에서는 두 가지 주요 과제가 발생한다: 데이터 수집 시 탐험(exploration)과 활용(exploitation) 간의 균형을 유지하면서 분포적 강건성을 관리하는 것이다. 먼저, 지지 집합 이동의 저주(curse of support shift), 즉 학습 환경과 테스트 환경 간 분포 지지 집합의 잠재적 불일치로 인해 추가적인 가정 없이는 표본 효율적인 학습이 불가능함을 규명한다. 이러한 난이도 결과를 극복하기 위해, 최적 강건 가치 함수의 최솟값이 0이라고 가정하는 소멸 최솟값 가정(vanishing minimal value assumption)을 총변동(TV) 거리 강건 집합을 사용하는 RMDP에 도입한다. 이 가정이 TV 거리 강건 집합을 가진 RMDP에서 지지 집합 이동 병리를 효과적으로 제거함을 증명하고, 근최적 표본 복잡도를 갖는 알고리즘을 제시한다. 본 프레임워크의 광범위한 적용 가능성을 보이기 위해, 알고리즘과 이론을 새로운 강건 집합 정식화 및 강건한 마르코프 게임으로 확장한다. 실용적 관련성을 예시하기 위해, 제안한 알고리즘을 데이터 기반 강건 재고 관리에 적용한다.

arXiv:2602.11117v2cs.CV

HairWeaver: 시뮬레이션-실제 유도 비디오 디퓨전을 활용한 퓨샷 포토리얼리스틱 헤어 모션 합성

HairWeaver: Few-Shot Photorealistic Hair Motion Synthesis with Sim-to-Real Guided Video Diffusion

CG 시뮬레이터로 생성한 소규모 합성 데이터셋을 기반으로, Motion-Context-LoRA와 Style-Alignment-LoRA 두 모듈을 활용해 단일 인물 이미지에서 물리적으로 그럴듯한 헤어 모션을 합성하는 디퓨전 기반 파이프라인 HairWeaver를 제안한다. Style-Alignment-LoRA는 CG 도메인 갭을 극복하기 위한 학습 전용 모듈로 추론 시 제거되며, 결과적으로 약 1,000개의 영상만으로 학습하여 기존 최첨단 방법 대비 더 사실적이고 세밀한 헤어 애니메이션을 달성한다.

arXiv:2607.06388v1cs.RO

다중 장애물 환경에서 안전한 객체 던지기 학습

Learning to Throw Objects Safely in Multi-Obstacle Environments

장애물이 무작위로 배치된 환경에서 로봇이 목표 바구니에 물체를 안전하게 던지는 문제를 다루며, 바구니 인력과 장애물 척력을 고정 크기 그리드에 인코딩하는 포텐셜 필드 상태 표현(PFR)과 키네스테틱 시연 기반 초기화를 결합한 강화학습 정책을 제안한다. SAC 알고리즘이 가장 일관된 성능을 보였으며, 실제 로봇 실험에서 복잡한 장면 기준 최대 90%의 성공률로 견고한 sim-to-real 전이를 확인했다.

arXiv:2607.05869v1cs.RO

GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation

새로운 물체에 대한 강건한 로봇 파지(grasping)를 위해서는 사실적인 RGB-D 관측, 물리적으로 검증된 파지 품질 주석, 그리고 시뮬레이션과 실세계 간의 체계적인 연결을 동시에 제공하는 데이터셋이 필요하지만, 기존 데이터셋들은 이를 통합적으로 제공하지 못한다. GraspIT는 이 공백을 해소한다: NVIDIA Isaac Sim 내 테이블탑 장면들을 병렬 Franka Panda 인스턴스에서 4단계 물리적 슬립 테스트(slip-test)를 통해 주석 처리하여, 포스-클로저(force-closure)를 넘어서는 궤적 도달 가능성 검사와 연속적인 품질 점수를 생성한다. 약 230만 개의 후보 중 83%가 good($s \geq 0.50$)으로 통과하며, 포스-클로저는 통과했지만 슬립 테스트에서 실패한 17%는 등급화된 어려운 부정 샘플(hard negative)을 제공한다. Real↔Sim 루프는 이 레이블들을 100개의 실세계 장면에 역투영(back-project)한다. 이번 릴리스는 1,035개의 시뮬레이션 장면과 100개의 실세계 장면에 걸쳐 약 31만 6천 개의 주석된 RGBD 프레임 셋을 제공하며, 인스턴스 마스크, 6-DoF 포즈, 물리적 물체 속성, 그리고 점수가 부여된 6-DoF 파지 정보를 포함한다. 모든 도구는 오픈소스이며 Docker 컨테이너화되어 있다. Isaac Sim 내의 궤적 계획은 테이블탑 조작 정책 학습과 행동 복제(behavior cloning)를 위한 고해상도 시연의 스트리밍을 추가적으로 가능하게 한다.