Play2Perfect: 정밀 조립을 위한 능숙한 놀이 사전학습에서 무엇이 중요한가?
Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?
한국어 초록
다손가락 로봇은 인간 손과 같은 속도와 능숙함을 구현할 잠재력을 지니지만, 정밀 조립과 같은 도전적인 문제는 여전히 달성하지 못하고 있다. 이러한 과제는 접촉이 빈번하여 모방 학습(imitation learning)을 위한 데이터 수집을 어렵게 하고, 보상이 희소하여 강화학습(RL)을 통한 직접 탐험이 사실상 불가능하다. 그 결과 선행 연구는 특화된 그리퍼, 공구 부착물, 환경 고정 장치 등으로 문제를 구조화함으로써 진전을 이루었다. 본 연구에서는 로봇이 정밀 조립을 완수하기 전에 먼저 놀이(play)를 배워야 한다고 주장한다. 또한 놀이를 배우는 과정에서 어떤 요인이 정밀 조립에 중요한지 묻는다. Play2Perfect를 제안하는데, 이는 다양한 객체와 목표에 대한 놀이를 통한 과제 무관 사전학습 RL 프레임워크이며, 이후 정밀 조립으로 정교화된다. 놀이의 목표는 잡기, 손 내 재배향, 자세 도달과 같은 재사용 가능한 조작 선험(prior)을 습득하는 것이다. 파인튜닝(fine-tuning)은 이 일반 선험을 조립에 적응시키며, 성공에 필요한 최종의 접촉이 빈번하고 고정밀 상호작용에 탐험을 집중시킨다. 객체 다양성, 학습 목표, 궤적 다양성, 목표 정밀도 등 놀이 사전학습의 핵심 설계 선택을 체계적으로 연구한다. 밀집(dense) 다단계 보상이 제공되더라도, 본 선험은 처음부터 RL 학습보다 33배 더 샘플 효율적임을 보인다. 제로샷(zero-shot) sim-to-real 전이를 실증하여, 접촉 여유가 0.5mm에 불과한 밀착 삽입에서 60% 성공률을 달성하고, 장기 다부품 조립 및 나사 체결에서 50% 이상의 성공률을 보인다.
원문 초록
Multi-fingered robots promise the speed and dexterity of human hands, yet challenging problems such as precise assembly have remained out of reach. These tasks are contact-rich, making data collection for imitation learning difficult, and sparse-reward, making direct exploration with reinforcement learning (RL) intractable. Consequently, prior work has made progress by structuring the problem with specialized grippers, tool attachments, and environment fixtures. In this work, we argue that before a robot can perfect precise assembly, it must first learn to play. We further ask the question: what factors in the process of learning to play matter for precise assembly? We propose Play2Perfect, an RL framework for task-agnostic pretraining through play on diverse objects and goals, which is then perfected on precise assembly. The goal of play is to acquire reusable manipulation priors, such as grasping, in-hand reorientation and pose reaching. Finetuning then adapts this general prior to assembly, focusing exploration on the final contact-rich, high-precision interactions needed for success. We systematically study key design choices in play pretraining, including object diversity, training objective, trajectory diversity, and goal precision. We show that our prior is 33x more sample-efficient than RL training from scratch, even when provided with dense, multi-stage rewards. We demonstrate zero-shot sim-to-real transfer, achieving 60% success on tight insertions with only 0.5 mm contact clearance, and over 50% success on long-horizon multi-part assembly and screwing.
요약
다손가락 로봇의 정밀 조립은 접촉이 빈번하고 보상이 희소해 어렵지만, Play2Perfect는 다양한 객체와 목표에 대한 놀이 기반 과제 무관 사전학습 RL 후 정밀 조립으로 파인튜닝하여 잡기·손 내 재배향·자세 도달 선험을 습득한다. 처음부터 RL보다 33배 샘플 효율적이며, 제로샷 sim-to-real로 0.5mm 여유 밀착 삽입 60% 및 장기 다부품 조립·나사 체결 50% 이상 성공률을 달성한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26428v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술
AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.
행동 셰이핑: 정책은 자신이 표현할 수 있는 것을 흡수한다
Action Shaping: Policies Absorb What They Can Express
보상 셰이핑(reward shaping)에는 포텐셜 기반 항을 최적 정책의 변경 없이 제거할 수 있다는 정리가 존재합니다. 반면 학습(training) 중에 오프셋을 더하고 배포 시점에 제거하는 방식의 행동 채널 적용 사례에는 이러한 정리가 없습니다. 행동 오프셋을 상쇄하는 것이 없기 때문에, 이러한 보정은 배포 시 유지되거나 보장 없이 제거됩니다. 본 논문에서는 이를 행동 셰이핑(action shaping)이라 부르고 그 원리를 제시합니다. 학습 가능한 정책은 자체 출력 층(layer)이 정확하게 재현할 수 있는 오프셋을 흡수하며, 여기서 '표현(express)'이란 바로 이를 의미합니다. 흡수된 오프셋은 리턴을 온전히 유지한 채 제거될 수 있습니다. 이의 최소 구현체는 페널티나 스케줄 없이 학습된 행동 가치 함수를 통해 학습하는 액터에 추가된, 학습 가능한 게이트 뒤에 배치된 0으로 초기화된 선형 헤드입니다. 이 게이트는 결정론적 액터와 확률적 액터 모두에서 스스로 상승했다가 하락하며, 20개의 태스크에서 해당 헤드를 제거해도 성능 손실이 거의 발생하지 않습니다. 이때 조건은 용량(capacity)이 아닌 정확한 재현입니다. 더 많은 파라미터를 가진 비선형 헤드는 흡수되지 않으며, 대조군 실험에서 비선형 베이스 헤드에 하나의 선형 경로를 추가하면 흡수 능력이 회복됩니다. 정확한 재현은 손실(loss) 지형에 그래디언트(gradient) 노이즈가 표류할 수 있는 평평한 방향을 제공하며, 오프셋의 진폭은 헤드를 제거하기 전에 이를 제거할 때 발생할 손실을 미리 알려줍니다. 이로써 행동 셰이핑은 셰이핑 정리에 상응하는 흡수 조건과 그 배후의 메커니즘, 그리고 이를 측정하는 진단 지표를 확보하게 됩니다. 정책은 자신이 표현할 수 있는 것만을, 그리고 오직 그것만을 흡수합니다.
다중 신뢰도 정책 그래디언트를 통한 데이터 부족 강화학습 안정화
Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning
온-정책(on-policy) 강화학습(RL)을 위한 정책 그래디언트(policy gradient) 방법은 비용이 많이 들고 희소한 목표 도메인(target-domain) 데이터가 잡음이 많은 그래디언트 추정치를 낳을 때 불안정해질 수 있다. 본 연구는 제한적인 고신뢰도(high-fidelity, HF) 목표 도메인 데이터를, 단순화된 시뮬레이터 등에서 얻을 수 있는 풍부하고 저렴하지만 편향된 저신뢰도(low-fidelity, LF) 데이터로 보완함으로써 이 문제를 해결한다. 대부분의 기존 방법은 LF 데이터에 기반한 편향된 목적함수를 직접 최적화한다. 이와 달리, 최근 제안된 다중 신뢰도 정책 그래디언트(multi-fidelity policy gradient, MFPG) 프레임워크는 LF 데이터를 오직 분산을 줄이고 HF 데이터 효율을 높이는 제어 변량(control variate)을 구성하는 데에만 사용하며, 정책 그래디언트 추정량에 편향을 주지 않는다. 그러나 기존에 발표된 MFPG 연구는 소규모 시뮬레이션 과제에서의 REINFORCE로 한정되어 있다. 본 연구는 GPU 병렬 시뮬레이션 및 실제 물리 로봇에서 동작하는 현대적인 액터-크리틱(actor-critic) 학습을 위해 MFPG를 확장한다. 분석과 실험 결과, 근접 정책 최적화(proximal policy optimization, PPO)에 단순하게 확장을 적용하면 신뢰도 간 상관관계(cross-fidelity correlation)를 잃거나 분산이 증가할 수 있음을 보인다. 본 연구가 제안하는 MFPG-PPO는 샘플링, 어드밴티지(advantage) 추정, 제어 변량 구성을 재설계하여 신뢰도 간 상관관계를 유지하고, 추정량의 불확실성을 모니터링하여 분산 증가를 방지함으로써 이러한 실패를 해결한다. 또한 고정된 샘플링 예산을 고신뢰도 및 저신뢰도 데이터 소스에 분배하는 예산 인지(budget-aware) MFPG-PPO를 도입한다. LF에서 HF로의 전이 난이도와 HF 데이터 예산이 다양한 모의 로봇 보행(locomotion) 과제 전반에서, MFPG-PPO는 거의 모든 설정에서 HF 데이터만으로 학습한 PPO보다 성능이 우수하며, 가장 어려운 과제에서 가장 작은 HF 예산으로도 16배 더 많은 HF 데이터로 학습한 PPO의 성능과 꾸준히 대등한 결과를 보인다. 반면, LF 데이터를 사용하는 대부분의 기준선(baseline) 방법은 LF에서 HF로의 직접적인 전이가 성공하는 경우에만 좋은 성능을 보인다. MFPG-PPO는 업데이트당 단 4개의 실제 로봇 에피소드만 사용하고 인간 시연(human demonstration) 없이도 실제 Franka 로봇 암에서 안정적인 학습을 가능하게 한다.
올바른 보상만으로는 충분하지 않을 때: 해석적으로 풀린 브로커-트레이더 게임에서 PPO 진단 및 유도
When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game
복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.
PointWAM: 정밀한 로봇 조작을 위한 3D 월드 액션 모델링
PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
월드 액션 모델(World action model)은 학습된 내부 월드 다이내믹스가 정확한 동작을 유도할 수 있도록, 월드 다이내믹스 예측과 로봇 액션 예측을 함께 학습합니다. 기존 접근 방식들은 일반적으로 월드를 RGB 프레임이나 그에 대응하는 잠재 표현(latent)으로 나타내면서 액션을 엔드이펙터 포즈 또는 관절 각도로 예측하지만, 정밀한 조작(dexterous manipulation)의 핵심인 3D 공간 구조 및 접촉 기하학을 포착하는 데 어려움을 겪는 경우가 많습니다. 본 논문에서는 월드를 장면(즉, 환경)과 손(즉, 행위자)으로 분해하고, 공유된 시공간 좌표계 내에서 두 요소를 3D 포인트 궤적으로 함께 예측하는 3D 월드 액션 모델인 Point World Action Model(PointWAM)을 소개합니다. 이러한 명시적이고 분리된(disentangled) 표현은 작업별 객체나 키포인트를 선택할 필요 없이 대규모 인간 시연 비디오에 대한 효과적인 사전학습을 가능하게 합니다. 컬러 포인트 클라우드와 언어 지시가 주어지면, PointWAM은 시간에 따라 장면과 손이 3D 공간에서 어떻게 함께 변화하는지 예측한 후, 예측된 손 움직임을 로봇 액션으로 리타기팅(retargeting)합니다. 인간 비디오에 대한 사전학습은 DexJoCo 평균 성공률을 56.9% 포인트 향상시키며, 장면 궤적에 대한 지도(supervision)는 손만 단독으로 예측하는 것보다 10.9% 포인트를 더 개선합니다. 두 가지를 모두 적용했을 때, PointWAM은 10개의 DexJoCo 작업에서 기존 최고 수준(SOTA) 성능을 11.7% 포인트 앞서며 실제 로봇에서도 강력한 VLA 모델들을 능가합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.