접기를 배우다: LeHome Challenge 2026 수상 솔루션 (온라인 1위, 오프라인 2위)
Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)
한국어 초록
본 논문은 양손 의류 접기(bimanual garment folding)를 다루는 ICRA 2026 대회인 LeHome Challenge 2026에 대한 나의 솔루션을 설명한다. 이 시스템은 온라인(시뮬레이션) 라운드에서 62개 팀 중 1위를, 실세계 결승에서는 2위를 차지했다. 강화학습(RL) 루프를 통해 비전-언어-행동(VLA) 정책을 개선한다. 이 정책은 그 자체로 가치 함수 역할을 하는데, 행동을 예측하는 동일한 네트워크가 성공 여부, 진행도, 그리고 작업과 관련된 몇 가지 미래 수치도 함께 예측하며, 이 예측값들이 이득(advantage) 추정, 실시간 실패 감지, 후보 선택을 이끈다. 이 연구는 대체로 기존 RL 아이디어들을 재조합한 것이며, 하나의 레시피로 함께 사용하거나 개별적으로 사용할 수 있는 엔지니어링 및 최적화 기여를 더한다: flow-matching VLA를 위한 AWR + RECAP 결합; HuggingFace Hub를 통한 비동기 분산 학습/롤아웃 파이프라인; Thompson 샘플링을 통한 추론 시점 하이퍼파라미터 최적화; 카메라 정렬(camera-alignment) 도구, 강력한 데이터 증강, DAgger 유사 HIL(Human-in-the-Loop) 데이터 수집을 포함한 sim-to-real 레시피.
원문 초록
I describe my solution to the LeHome Challenge 2026, an ICRA 2026 competition on bimanual garment folding. The system placed 1st of 62 teams in the online (simulation) round and 2nd in the real-world final. It improves a vision-language-action (VLA) policy with a reinforcement-learning loop. The policy is its own value function: the same network that predicts actions also predicts success, progress, and a few task-relevant future quantities, and those predictions drive advantage estimation, live failure detection, and candidate selection. The work mostly recombines existing RL ideas with engineering and optimization contributions that can be used together as one recipe or individually: AWR + RECAP combined for flow-matching VLA; an asynchronous distributed training / rollout pipeline through HuggingFace Hub; inference-time hyperparameters optimization via Thompson sampling; a sim-to-real recipe with camera-alignment tooling, heavy augmentation and DAgger-like HIL data collection.
요약
양손 의류 접기 ICRA 2026 LeHome Challenge에서 온라인 시뮬레이션 62팀 중 1위, 실세계 결승 2위를 기록했다. 강화학습(RL) 루프로 비전-언어-행동(VLA) 정책을 개선하며, 행동·성공·진행도를 동일 네트워크가 예측하는 자기 가치 함수 설계로 이득(advantage) 추정·실패 감지·후보 선택을 수행하고, flow-matching VLA용 AWR+RECAP, HuggingFace Hub 비동기 분산 학습, Thompson sampling 추론 튜닝, sim-to-real 데이터 수집 레시피를 함께 쓴다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27163v3제출 시각 미확인
- arXiv:2606.27163v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
장기 작업 스킬 접합부에서의 관측 공간 편차 진단 및 복구
Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams
장기(long-horizon) 로봇 조작은 독립적으로 학습(training)된 스킬들을 연쇄적으로 결합하여 구축되는 경우가 많습니다. 각 스킬은 개별적으로는 안정적일 수 있지만, 스킬들이 연결될 때 성능이 급격히 저하됩니다. 즉, 각 후속 스킬은 자체 학습 분포 대신 선행 스킬이 남겨둔 상태에서 시작해야 하기 때문입니다. 본 연구에서는 이러한 실패 모드인 관측 공간 편차(Observation-Space Shift, OSS)를 연구하고, 스킬 접합부(skill seam) 실패를 유발하는 원인을 파악합니다. 특권 시뮬레이터 리셋을 사용하여 분석한 결과, 지배적인 편차는 로봇의 관절 구성이나 후속 스킬이 조작하는 대상 물체가 아니라, 흐트러진 장면 상태(예: 열린 서랍이나 이전 스킬들이 남겨둔 부차적 물체)에서 비롯된다는 점을 발견했습니다. 이러한 진단을 검증하기 위해 완전 학습 기반의 탐지-복원-재개(detect-restore-resume) 시스템을 구축했습니다. 작업 진행 모니터가 정체 상태를 탐지하고, 학습된 정책이 흐트러진 장면 구성요소를 복원하며, 접합부 강건 미세조정(fine-tuning)을 통해 스킬을 재개합니다. 이 시스템은 테스트된 다른 모든 대안이 실패한 접합부를 복구하며, 저자들은 이를 범용적인 방법론이라기보다 해당 진단을 뒷받침하는 증거로 간주합니다. BOSS-44 벤치마크(benchmark)에서 이 시스템은 전체 체인 성공률을 7.6%에서 26.5%로 향상시켜 기본 정책 대비 3.5배의 개선 및 특권 복원 오라클 대비 51%의 성능을 달성한 반면, best-of-K 재샘플링, Diffusion Policy 및 월드 모델(world-model) 베이스라인은 평가된 접합부 상태에서 복구에 실패했습니다. 미세조정된 $π_{0.5}$ 정책으로 구동되는 실제 Franka 로봇 팔의 경우, 동일한 모니터가 외부 카메라의 관측 가능성에 의해 제약을 받지만 루프를 닫음으로써 복구 불가능했을 일부 실패를 복구할 수 있었으며, 이는 손목 및 그리퍼 센싱의 필요성을 시사합니다. 이러한 결과는 일부 장기 결합 실패의 경우, 지지 집합을 벗어난(off-support) 상태에서 재시도하는 것보다 정책을 재개하기 전에 장면을 먼저 복원함으로써 더 효과적으로 해결될 수 있음을 보여줍니다.
NEEDLEWORK: 검증된 로컬 스티칭을 통한 로봇 데이터의 오프라인 재작성
NEEDLEWORK: Offline Rewriting of Robot Data with Verified Local Stitches
로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.
위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습
Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.
ForgetMimic: 강화학습 휴머노이드 제어를 위한 모션 언러닝
ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control
인간 시연을 활용한 휴머노이드 제어는 강화학습(RL)을 통해 다양하고 민첩하며 자연스러운 이동(locomotion) 행동을 달성해 왔다. 이 패러다임이 물리 세계 휴머노이드 제어에서 뛰어난 성능을 보여 주었지만, 학습된 정책에서 특정 동작을 제거하는 방법은 여전히 충분히 탐구되지 않았다. 이 문제를 다루는 동기는 긴급한 안전성 및 프라이버시 우려에서 비롯된다. 악의적이거나 오염된, 또는 차선의 동작뿐 아니라 GDPR과 같은 규정에 따른 잊혀질 권리(right to be forgotten)의 대상이 되는 저작권 보호 동작을 제거하는 것은 매우 중요하다. 이를 위해 우리는 물리 세계 휴머노이드 제어를 위해 특별히 설계된 최초의 모션 수준 언러닝 방법인 ForgetMimic을 제안한다. ForgetMimic의 핵심 아이디어는 다음과 같다. $N$개의 동작으로 학습된 정책 $\pi_\theta$가 주어졌을 때, 우리 방법은 목표 부분집합인 $K$개 동작에 대한 성능을 저하시키면서 나머지 $N-K$개 동작의 효과는 유지한다. 또한 우리는 로봇 제어에서 언러닝 실패로 이어지는 두 가지 핵심 학습 메커니즘을 식별하고 해결한다. Unitree G1 및 H2 휴머노이드 로봇에서 Dance, Fight, Flip 등 12가지 동작에 걸쳐 광범위한 실험을 수행했다. 실험 결과는 ForgetMimic이 지정된 동작에 대한 기억을 효과적으로 제거하면서 다른 모든 동작의 정상 동작을 유지함을 보여 준다.
BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습
BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models
비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.
StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA
StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses
자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.