PyTorchKR Papers

최신 논문

총 65편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13740v2cs.RO

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

World-action models (WAMs) jointly predict robot actions and future observations, but their video diffusion backbones are costly for edge deployment. We introduce SmolWAM, a compact latent WAM derived from the 2B-parameter Cosmos Policy using single-frame encoding, cached text features with preserved attention sinks, depth pruning, and token compaction. With 12 of 28 transformer blocks and 1,008 tokens, SmolWAM predicts actions and future latents in one rectified-flow step. After 3.6 A100 GPU-hours of training, it achieves 95.5% success over 400 LIBERO episodes at 57ms, 2.3TFLOP, and 2.4GiB per 16-action chunk on an A100: 11x lower latency and 3.2x lower memory than the five-step teacher. Its world head predicts scene motion; joint training improves success by 6.2 percentage points over an action-only ablation.

arXiv:2607.13361v3cs.CV

검출기 신뢰도는 복잡한 조작 환경에서 가림이 아닌 존재를 신호한다

Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation

Detector confidence is often used to decide whether a robot needs another view of a target. We test this signal against detector-free visibility from geometry segmentation. In controlled clutter, Grounding DINO confidence remains nearly constant as target visibility falls from all scenes to one in eight. OWLv2 and SAM 3 retain positive correlations with visibility, but all three detectors lose target-instance localization under heavy occlusion. Grounding DINO reports a hidden target present in about nine of ten scenes by detecting same-category distractors. Consequently, confidence understates the benefit of additional views ($8$ versus $88$ percentage points). In a $40$-scene localization comparison, additional-view selection and fusion increase target localizability from $5\%$ to $100\%$. Experiments cover nine categories, two simulators, and real video. On DAVIS, confidence correlates positively with visible area, yet $99\%$ of occluded frames yield a detection and $94\%$ of those detections miss the tracked target. These results distinguish category presence from target visibility and motivate target-grounded evaluation of active perception.

arXiv:2610.13578v1cs.RO

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

arXiv:2610.13354v1cs.AI

AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술

AlphaNIST: Emergent Assembly Skills from Binary Task Rewards

NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.

arXiv:2610.10810v1cs.RO

장기 작업 스킬 접합부에서의 관측 공간 편차 진단 및 복구

Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams

장기(long-horizon) 로봇 조작은 독립적으로 학습(training)된 스킬들을 연쇄적으로 결합하여 구축되는 경우가 많습니다. 각 스킬은 개별적으로는 안정적일 수 있지만, 스킬들이 연결될 때 성능이 급격히 저하됩니다. 즉, 각 후속 스킬은 자체 학습 분포 대신 선행 스킬이 남겨둔 상태에서 시작해야 하기 때문입니다. 본 연구에서는 이러한 실패 모드인 관측 공간 편차(Observation-Space Shift, OSS)를 연구하고, 스킬 접합부(skill seam) 실패를 유발하는 원인을 파악합니다. 특권 시뮬레이터 리셋을 사용하여 분석한 결과, 지배적인 편차는 로봇의 관절 구성이나 후속 스킬이 조작하는 대상 물체가 아니라, 흐트러진 장면 상태(예: 열린 서랍이나 이전 스킬들이 남겨둔 부차적 물체)에서 비롯된다는 점을 발견했습니다. 이러한 진단을 검증하기 위해 완전 학습 기반의 탐지-복원-재개(detect-restore-resume) 시스템을 구축했습니다. 작업 진행 모니터가 정체 상태를 탐지하고, 학습된 정책이 흐트러진 장면 구성요소를 복원하며, 접합부 강건 미세조정(fine-tuning)을 통해 스킬을 재개합니다. 이 시스템은 테스트된 다른 모든 대안이 실패한 접합부를 복구하며, 저자들은 이를 범용적인 방법론이라기보다 해당 진단을 뒷받침하는 증거로 간주합니다. BOSS-44 벤치마크(benchmark)에서 이 시스템은 전체 체인 성공률을 7.6%에서 26.5%로 향상시켜 기본 정책 대비 3.5배의 개선 및 특권 복원 오라클 대비 51%의 성능을 달성한 반면, best-of-K 재샘플링, Diffusion Policy 및 월드 모델(world-model) 베이스라인은 평가된 접합부 상태에서 복구에 실패했습니다. 미세조정된 $π_{0.5}$ 정책으로 구동되는 실제 Franka 로봇 팔의 경우, 동일한 모니터가 외부 카메라의 관측 가능성에 의해 제약을 받지만 루프를 닫음으로써 복구 불가능했을 일부 실패를 복구할 수 있었으며, 이는 손목 및 그리퍼 센싱의 필요성을 시사합니다. 이러한 결과는 일부 장기 결합 실패의 경우, 지지 집합을 벗어난(off-support) 상태에서 재시도하는 것보다 정책을 재개하기 전에 장면을 먼저 복원함으로써 더 효과적으로 해결될 수 있음을 보여줍니다.

arXiv:2610.10646v1cs.RO

기하학 유도 토큰 탐색을 활용한 마스크 생성 모션 플래닝

Masked Generative Motion Planning with Geometry-Guided Token Search

생성형 모션 플래너(generative motion planner)는 일반적으로 초기 생성을 위해 학습된 궤적 사전 분포를 사용하며, 테스트 시점의 복구는 국소적인 연속 개선(refinement)에 맡깁니다. 본 논문에서는 학습된 사전 분포를 효율적인 병렬 생성에서 구조적 복구로 확장하는 마스크 생성 모션 플래닝(Masked Generative Motion Planning, MGMP)을 소개합니다. 마스크 생성 트랜스포머는 이산 궤적 후보들을 병렬로 생성하며, 기하학 유도 토큰 탐색(Geometry-Guided Token Search, GGTS)은 장면 기하학을 활용하여 수정할 위치와 평가할 사전 분포 기반 대안을 타겟팅합니다. 이를 통해 개선 과정을 이산 모션 대안에 대한 효율적인 탐색으로 전환하여, 국소적 궤적 변형을 넘어 경로 수준의 재구성을 가능하게 합니다. MGMP는 Ring Maze에서 96%의 성공률을 달성하고 Kuka의 통제된 경로 무효화(Controlled Route Invalidation)에서 82%의 복구 성공률을 기록하여, 가장 강력한 외부 베이스라인을 각각 23%포인트 및 25%포인트 앞섰습니다. 나아가 보지 못한 배치, 추가 장애물, 보지 못한 기하학적 형태, 단일 및 이중 팔 플래닝, 그리고 실제 Baxter 작업으로도 일반화됩니다.

arXiv:2610.02626v2cs.CV

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2607.00148v2cs.RO

3D 포인트 월드 모델: 포인트 완성을 통한 더 정확한 다이나믹스 학습

3D Point World Models: Point Completion Enables More Accurate Dynamics Learning

부분 포인트 클라우드의 폐색(occlusion)과 누적 예측 오차 문제를 해결하기 위해, 3DPWM은 SAM3 기반 객체 분할과 포인트 클라우드 완성(completion)을 월드 모델 파이프라인에 통합하여 완전한 3D 기하 구조에서 행동 조건부 다이나믹스를 학습한다. 다양한 로봇 구현체와 테이블탑 조작 벤치마크 실험에서 100~300+ 스텝의 장기 롤아웃을 안정적으로 수행하며 베이스라인 대비 sim-to-real 전이 성능을 2.5배 향상시켰다.

arXiv:2606.17924v2cs.RO

PearlVLA: 잠재 공간에서의 점진적 체화 행동-계획 정제

PearlVLA: Progressive Embodied Action-Plan Refinement in Latent Space

현재의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 효율적인 행동 생성과 명시적인 심사숙고 사이의 트레이드오프에 직면해 있습니다. 비전-언어 백본 표현에서 직접 행동을 디코딩하면 저지연 제어가 가능해지는 반면, 텍스트 기반 추론, 픽셀 수준 서브골(subgoal), 또는 디코딩된 행동에 대한 월드 모델 평가는 계획 수립을 개선할 수 있지만 상당한 지연 시간과 계산 비용을 초래합니다. 본 논문에서는 각 중간 계획의 예측된 결과로부터 얻은 피드백을 활용하여 VLM 유래 잠재 계획을 점진적으로 정제하는 VLA 프레임워크인 PearlVLA를 제안합니다. PearlVLA는 행동 정보가 없는(action-free) 비디오로 사전학습된 고정된 잠재 월드 모델(LaWM, Latent World Model)을 사용합니다. 각 정제 라운드마다 현재 계획은 연속적인 잠재 행동 코드를 생성하고, LaWM은 이에 대응하는 잠재 시각적 서브골을 예측합니다. 미래 유도형 계획 정제기는 이 서브골을 사용하여 계획을 업데이트하므로, 각 수정은 다음 LaWM 쿼리를 재구성합니다. K번의 라운드를 거친 후, 정제된 계획은 호스트 정책의 행동 인터페이스로 한 번 전달되어 행동 청크(action chunk)를 생성합니다. 나아가 동일한 정제 상태에서 이루어진 계획 편집의 더 긴 지평(longer-horizon)으로 상상된 미래에서 얻은 보상을 비교함으로써 잠재 정제를 최적화하는 인과 정제-그룹화 프로세스-보상 강화학습(Causal Refinement-Grouped Process-Reward RL)을 소개합니다. LIBERO 및 RoboCasa 벤치마크 실험을 통해 PearlVLA가 기존의 강력한 방법들에 비해 경쟁력 있는 성능을 보임을 확인했습니다.

arXiv:2607.01111v2cs.RO

FAR: 테스트 시점 복구 및 지속적 정책 개선을 위한 실패 인식 재시도

FAR: Failure-Aware Retry for Test-Time Recovery and Continual Policy Improvement

실제 환경에 배포된 로봇 정책은 필연적으로 실패를 겪게 됩니다. 단순한 재시도는 종종 동일한 실수를 반복하며, 기존의 많은 복구 방법은 인간의 개입에 의존합니다. 본 논문에서는 로봇이 테스트 시점에 이전 실패로부터 학습하고, 이에 맞춰 행동을 적응시키며, 궁극적으로 자율적으로 작업을 완수할 수 있도록 지원하는 프레임워크인 FAR(Failure-Aware Retry)을 제안합니다. FAR은 실패 사례로부터 선호도 학습 데이터를 구축하여 정책이 이전에 실패했던 행동을 피하도록 유도하는 실패-대조 선호도 적응(Failure-Contrastive Preference Adaptation)과 재시도 중 국소적 탐험(exploration)을 촉진하기 위한 경량 행동 섭동(action perturbation)을 결합합니다. 나아가 지속적 정책 개선을 위해 성공적인 복구 궤적을 학습 루프(training loop)에 통합합니다. 시뮬레이션 및 실제 환경의 조작 작업에 대한 실험 결과, FAR은 성공률과 강건성을 크게 향상시켜 표준 디퓨전 정책(diffusion policy) 대비 시뮬레이션에서 평균 17.6%, 실제 환경에서 11.7%의 성능 향상을 달성함을 보여줍니다. 또한 FAR은 유익한 실패 사례를 활용함으로써 지속적 정책 개선 과정에서 리셋 및 타임스텝 예산 모두에서 데이터 효율성을 개선합니다. 비디오와 코드는 https://hoar012.github.io/FAR-Project 에서 확인할 수 있습니다.

arXiv:2606.08775v2cs.RO

객체 중심 월드 모델과 확산 정책의 통합: 다단계 로봇 작업을 위한 계층적 프레임워크

Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks

시각적 월드 모델(visual world model)은 복잡한 시스템 동역학을 학습하는 데 뛰어난 잠재력을 보여주었습니다. 최근의 발전은 이러한 모델을 모델 예측 제어(MPC) 프레임워크 내의 전이 함수(transition function)로 활용하여 다양한 제어 작업을 해결하고 있습니다. 그러나 로보틱스에 적용할 경우, 도달(reaching)이나 파지(grasping)와 같은 단일 단계 작업에 국한되며, 복잡한 순차적 계획을 요구하는 다단계 작업에서는 어려움을 겪습니다. 본 연구에서는 다단계 로봇 조작을 위해 설계된 월드 모델 프레임워크인 WorldDP를 소개합니다. 제안하는 계층적 접근 방식은 상위 수준의 월드 모델을 전이 함수로 활용하여 런타임 중에 실현 가능한 하위 목표(subgoal)를 최적화하며, 이는 이후 하위 수준의 확산 정책(Diffusion Policy)을 통해 도달됩니다. 동역학 학습과 계획 수립을 더욱 지원하기 위해 환경 내 개체를 분리하고 각 개체에 대해 순차적으로 계획할 수 있도록 하는 객체 중심(object-centric) 표현을 통합합니다. 여러 로보틱스 벤치마크에서 평가한 결과, WorldDP는 기존 베이스라인을 일관되게 능가하며, 월드 모델의 물리적으로 기반한(grounded) 계획과 확산 정책의 효율적인 실행을 결합하는 것이 우수한 다단계 성능을 낳음을 입증합니다. 프로젝트 페이지: https://raktimgg.github.io/worlddp-website/.

arXiv:2606.00267v2cs.CV

StressDream: 강건한 정책 평가 및 개선을 위한 비디오 월드 모델 유도

StressDream: Steering Video World Models for Robust Policy Evaluation and Improvement

비디오 월드 모델(World Model, WM)은 자가 로봇(ego-robot)의 행동을 조건으로 현실적인 미래 관측을 상상(imagination)함으로써 정책 평가(policy evaluation) 및 개선에 대한 유망성을 보여주었습니다. 월드 모델은 미래에 대한 확률 분포를 모델링할 수 있지만, 정책 평가 및 개선은 일반적으로 명목적 상상(nominal imagination)에 의존하므로 지나치게 많은 샘플을 추출하지 않는 한 로봇 행동의 치명적인 영향(high-impact)을 초래하는 결과를 놓치기 쉽습니다. 월드 모델 상상을 통한 강건한 정책 평가 및 개선을 가능하게 하기 위해, 본 논문에서는 디퓨전 기반 월드 모델의 초기 노이즈를 최적화(optimization)하여 추론(inference) 시점에 지정된 치명적이면서도 그럴듯한 결과로 상상을 유도하는 StressDream을 제안합니다. 그러나 고차원 노이즈 최적화는 어렵습니다. 생성된 비디오에서 미묘하고 장면에 종속적인 목표 이벤트를 추론해야 하는 동시에, 타당하지 않은 상상을 초래하는 분포 외(OOD) 노이즈를 방지해야 하기 때문입니다. 저자들은 이를 두 가지 상호보완적인 목적 함수를 통해 해결합니다. 생성된 비디오를 추론하여 유익한 그래디언트를 제공하는 비전-언어 모델(VLM) 기반의 시맨틱 목적 함수와, 최적화된 노이즈가 OOD로 벗어나는 것을 방지하는 타당성 목적 함수입니다. 자율주행 및 로봇 조작을 위한 최고 수준의 비디오 월드 모델을 통해, StressDream이 과제 실패와 같이 추론 시점에 텍스트로 지정된 치명적이면서도 타당한 결과로 상상을 효과적으로 유도함을 보여주며, 그럴듯한 미래에 바람직하지 않은 결과가 포함된 행동을 식별함으로써 강건한 정책 평가 및 개선을 가능하게 합니다. 비디오 결과는 https://stressdream.github.io/ 에서 확인할 수 있습니다.

arXiv:2602.20119v2cs.RO

NovaPlan: 폐루프 비디오 언어 계획을 통한 제로샷 장기 조작

NovaPlan: Zero-Shot Long-Horizon Manipulation via Closed-Loop Video Language Planning

복잡한 장기(long-horizon) 로봇 작업을 해결하려면 추상적인 작업 구조와 저수준 물리적 상호작용에 대한 결합된 추론이 필요합니다. 비전-언어 모델(VLM)과 비디오 생성 모델의 결합은 제로샷(zero-shot) 계획 수립을 위한 유망한 접근법을 제공하지만, 물리 법칙에 대한 환각(hallucination)을 보이거나 기하학적 일관성을 위반하는 각 모델의 개별적 경향은 시간이 지남에 따라 누적되어 실제 환경에서의 안정적인 실행을 방해하곤 합니다. 본 논문에서는 시각적 계획을 체계적으로 제안, 검증 및 수정하여 강건한 제로샷 장기 조작을 가능하게 하는 계층적 프레임워크인 NovaPlan을 소개합니다. 상위 수준에서는 VLM 플래너가 작업을 분해하고 여러 후보 비디오 롤아웃을 검증하여 동역학적으로 일관되지 않은 미래를 걸러냅니다. 이렇게 상상된 미래를 신뢰할 수 있는 물리적 행동으로 변환하기 위해, NovaPlan은 객체 중심 흐름(object-centric flow)과 인간 손 흐름(human hand flow) 사이를 적응형으로 전환하는 하이브리드 기하학적 표현을 활용합니다. 마지막으로 NovaPlan은 실행 과정을 지속적으로 모니터링하여 결과를 검증하고, 실패가 발생할 경우 손가락 끝으로 찌르기와 같은 국소적인 비파지(non-prehensile) 교정 행동을 합성함으로써 루프를 완성합니다(close the loop). 다양한 다단계 작업에 걸쳐 NovaPlan은 이전 제로샷 시스템들을 크게 능가하며, 작업별 학습(training)이나 시연 데이터 없이도 복잡한 조립 및 정교한 오류 복구를 완전히 달성합니다. 추가 결과는 프로젝트 웹사이트(https://nova-plan.github.io/)를 참조하십시오.

arXiv:2510.00154v2cs.RO

RoboPilot: 이중 사고 모드를 통한 일반화 가능한 동적 로봇 조작

RoboPilot: Generalizable Dynamic Robotic Manipulation with Dual-thinking Modes

로보틱스의 빠른 발전에도 불구하고 복잡하거나 장기적인(long-horizon) 작업은 여전히 근본적인 과제로 남아 있습니다. 대부분의 기존 접근 방식은 제한된 추론과 피드백 부재를 특징으로 하는 개루프(open-loop) 패러다임을 따르기 때문에, 환경 변화에 대한 강건성(robustness)이 떨어지고 심각한 오류 누적이 발생합니다. 본 연구에서는 실제 동적 환경의 복잡한 작업에 대해 적응형 추론을 지원하는 로봇 조작용 이중 사고(dual-thinking) 폐루프(closed-loop) 에이전트 프레임워크인 RoboPilot을 제시합니다. RoboPilot은 에이전트 시스템으로서 구조화된 작업 계획 및 유연한 동작 생성을 위해 원시 동작(primitive action)을 활용하는 동시에, 동적 변화 및 실행 오류로부터 재계획을 수행할 수 있도록 피드백을 도입합니다. 사고의 연쇄(Chain-of-Thought, CoT) 추론은 고수준 작업 계획을 더욱 향상시키고 저수준 동작 생성을 안내합니다. 또한 이 에이전트 시스템은 효율성과 정확성의 균형을 맞추기 위해 빠른 사고와 느린 사고 사이를 동적으로 전환합니다. 다양한 로봇 조작 시나리오에서 RoboPilot의 강건성을 체계적으로 평가하기 위해, 실행 불가능한 작업 인식 및 동적 복구를 포함하여 10개 범주에 걸친 21개 작업으로 구성된 벤치마크인 RoboPilot-Bench를 소개합니다. 실험 결과 RoboPilot은 작업 성공률에서 최신 SOTA(state-of-the-art) 베이스라인 대비 11% 뛰어난 성능을 보였으며, 산업용 로봇에 대한 실제 환경 배치를 통해 강건성을 추가로 입증했습니다.

arXiv:2505.12224v5cs.RO공식 코드 · Papers with Code

RoboFAC: 로봇 실패 분석 및 수정을 위한 포괄적 프레임워크

RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction

비전-언어-행동(Vision-Language-Action, VLA) 모델은 자연어 지시와 시각적 관측을 제어 행동으로 변환함으로써 최근 로봇 조작(robotic manipulation) 분야를 발전시켰습니다. 그러나 기존 VLA는 주로 성공적인 전문가 시연 데이터를 기반으로 학습(training)되어 실패 진단 및 복구를 위한 구조화된 지도(supervision)가 부족하며, 이는 개방형 환경(open-world) 시나리오에서의 강건성(robustness)을 제한합니다. 이러한 한계를 해결하기 위해 본 논문에서는 로봇 실패 분석 및 수정(RoboFAC) 프레임워크를 제안합니다. 시뮬레이션 및 실제 환경의 53개 장면에서 체계적으로 분류된 실패 유형과 함께 9,440개의 오류 조작 궤적과 78,623개의 QA 쌍으로 구성된 대규모 실패 중심 데이터셋을 구축합니다. 이 데이터셋을 활용하여 태스크 이해, 실패 분석 및 실패 수정을 전문으로 하는 경량 멀티모달 모델을 개발함으로써, 대규모 상용 모델과 견줄 만한 성능을 유지하면서도 효율적인 로컬 배포를 가능하게 합니다. 실험 결과에 따르면 RoboFAC은 GPT-4o 대비 34.1% 더 높은 실패 분석 정확도를 달성합니다. 나아가 실제 VLA 제어 파이프라인에 RoboFAC을 외부 감독자로 통합하여 4개 태스크 전반에서 29.1%의 상대적 성능 향상을 이끌어내는 동시에 GPT-4o 대비 지연 시간(latency)을 크게 줄였습니다. 이러한 결과는 RoboFAC이 체계적인 실패 진단 및 복구를 가능하게 하여 VLA 복구 능력을 크게 향상시킴을 입증합니다. 모델과 데이터셋은 https://github.com/MINT-SJTU/RoboFAC 에서 공개되어 있습니다.

arXiv:2610.03710v1cs.RO

EyeRobot 2.0: 손목 카메라 없이 정밀한 조작을 가능하게 하는 능동적 시선 제어

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

인간의 시각 체계에서 영감을 받아, 단일 스테레오 카메라만으로 정밀한 양손 조작(bimanual manipulation)을 가능하게 하는 능동적 시선 제어(active gaze) 기반 프레임워크를 소개합니다. EyeRobot 2.0은 두 눈의 시점을 회전시켜 시선을 장면에 위치한 3D 주시점(fixation point)의 중심에 맞춤으로써 물리적으로 집중합니다. 그 결과로 얻은 영상은 이미지 중심부에 더 많은 시각적 토큰(token)을 할당하여 중심와 방식으로 처리되며, 연산 자원을 작업과 관련된 특징에 집중시킵니다. 이러한 능동적 시각 고정(Active Visual Fixation, AVF)은 작업 수행 중 정교하게 조율된 시선을 필요로 하므로, 본 연구에서는 계층적 방식으로 이를 구현합니다. 먼저 목표 물체를 조건으로 하는 하위 레벨 시선 서보잉(gaze servoing) 정책을 학습(training)한 후, 작업 진행 상황에 따라 주시 목표를 생성하는 타깃 선택기(target selector)를 학습합니다. 두 모듈 모두 실제 환경 데이터를 바탕으로 강화학습(RL)을 통해 학습됩니다. 첫 번째 모듈은 조밀한 기하학적 보상(reward)으로 학습되며, 두 번째 모듈은 행동 복제(BC) 그리퍼 정책과 함께 공동 학습되어 작업을 수행하는 동안 인간의 주시 순서와 유사한 주시 시퀀스를 발견할 수 있게 합니다. 또한 EyeRobot 2.0은 그리퍼 정보를 주시 기준의 SE(3) 좌표계로 정규화하여 학습해야 할 행동 분포의 크기를 축소함으로써 주시의 이점을 극대화합니다. 본 연구는 7개의 실제 환경 작업과 6개의 시뮬레이션 작업에 대해 원격 조작(teleoperation) 데이터를 수집하고, 동일한 데이터로 학습된 수동적 스테레오 및 1인칭+손목 카메라 정책과 EyeRobot 2.0을 비교하는 1,000회 이상의 실제 로봇 실험과 1,800회 이상의 시뮬레이션 실험을 수행했습니다. 표준 정책에서 손목 카메라를 제거하는 것은 큰 성능 저하를 초래하여, 수동적 스테레오만 사용할 경우 실제 환경 성공률이 52%에서 27%로 떨어집니다. EyeRobot 2.0은 스테레오 카메라만으로 이 격차를 좁혀 실제 환경에서 40%, 시뮬레이션에서 20% 수동적 스테레오보다 우수한 성능을 보였습니다. 또한 손목 시야가 확보된 경우 1인칭+손목 카메라 정책과 대등한 성능을 보였으며(69% 대 64%), 파지한 물체가 손목 카메라를 가릴 때는 성공률을 두 배 이상 끌어올렸습니다(48% 대 22%).

arXiv:2610.03333v1cs.RO

접촉이 빈번한 조작을 위한 동변 시각-촉각 확산 정책

Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation

접촉이 빈번한 조작(contact-rich manipulation)을 위한 모방 학습(imitation learning)은 획득 비용이 높은 고품질 전문가 데이터를 필요로 합니다. 이에 따라 샘플 효율적인(sample-efficient) 정책을 학습하는 것이 핵심 과제가 됩니다. 이를 해결하기 위해, 본 논문에서는 데이터 효율적인 접촉 빈번 조작 모방 학습을 위한 작업공간 수준의 동변(equivariant) 시각-촉각 확산 정책인 VISTA를 제안합니다. VISTA는 시각 및 촉각 관측값을 구면 토큰(spherical token)으로 투영하고, 순열-동변 구면 융합(permutation-equivariant spherical fusion)을 통해 시각 구면 방향에 촉각 접촉 단서를 주입하며, 말단 장치(end-effector)의 방향을 이용해 융합된 조화 표현(harmonic representation)을 회전시킵니다. 생성된 표현은 동변 확산 정책(equivariant diffusion policy)의 조건으로 사용되어 공간적으로 일관된 행동을 예측합니다. 시뮬레이션 및 실제 로봇 환경 모두에서 수행된 광범위한 실험은 VISTA가 강력한 시각-촉각 모방 학습 베이스라인들에 비해 데이터 효율성을 크게 향상시킴을 보여줍니다. 프로젝트 웹사이트: https://vista-paper.github.io/

arXiv:2610.03137v1cs.AI

프레임의 움직임이 적을 때 JEPA 월드 모델의 계획 수립 가능성을 유지하는 방법

Keeping JEPA World Models Plannable When Little of the Frame Moves

목표 프레임 대신 언어로 목표를 지정하는 방식은 잠재 월드 모델(latent world model)을 사용한 계획 수립(planning)에 자연스러운 인터페이스이지만, 이를 검증하려면 언어가 여러 객체를 구별해야 하는 장면이 필요합니다. 본 연구에서는 여러 개의 작은 객체와 동일한 장면에 대한 시각적 및 언어 목표 쌍으로 구성된 밀기 벤치마크인 SLIM을 구축했습니다. SLIM에서 PushT를 해결하는 LeWM 월드 모델은 시뮬레이터 상태를 사용하는 스크립트 컨트롤러가 모든 단계를 해결함에도 불구하고 1% 미만의 시도에서만 성공합니다. 프로브 분석 결과 인코더에서 실패의 원인을 찾아냈습니다. 인코더의 잠재 상태는 행동에 거의 반응하지 않으며, 푸셔(pusher)나 객체의 위치를 디코딩할 수 없고, 롤아웃은 현재 잠재 상태를 그대로 복사해 전달하는 수준에 불과합니다. 인코더 잠재 상태와 예측된 잠재 상태 모두에 공유 헤드를 통해 적용되며 테스트 시점에는 폐기되는 단 하나의 역동역학(inverse-dynamics) 보조 손실(loss)만으로 모든 프로브를 회복하고 성공률을 0.003에서 0.35로 끌어올렸으며(목표 무관 정책의 점수가 0인 고난도 밀기 단계에서는 0.16), 학습된 지평의 2배 길이에서도 PushT 성능을 향상시켰습니다. 대조군 분석을 통해 이러한 개선이 인코더로 유입되는 그래디언트(gradient) 덕분임을 확인했으며, 반응도 조사를 통해 기본 모델 또한 행동에 반응하는 프레임 영역이 충분해지면 계획을 수립할 수 있음을 보였습니다. 환경(environment) 접근 없이도 계산 가능한 저비용의 행동 민감도 프로브는 경험적 필요조건으로 작용하여 임계값 미만의 모든 설정에서 계획 수립에 실패했습니다. 복구된 잠재 공간 위에서는 소형 언어 목표 헤드가 월드 모델의 재학습 없이도 문장으로부터 계획을 수립합니다. 내비게이션에서 0.84에 도달하고(시각 목표 오라클은 1.00), 유인물(decoy)과 자리가 바뀌더라도 지정된 영역을 추적하며, 보지 못한 명사에 대해서도 완만하게 성능 저하를 보입니다. 단일 목표 문장으로는 밀기를 완수하기 어렵지만, 밀기 작업을 일련의 단계별 문장 시퀀스로 제공하면 중간 및 고난도 밀기 단계에서 헤드의 성공률이 0.04에서 목표 프레임 오라클 수준인 0.25로 향상되며, 단계 간의 전환을 잠재 상태에서만 읽어내는 경우에도 동일한 성과를 거둡니다.

arXiv:2610.02508v1cs.AI

점진적 시각 계획을 결합한 월드 액션 모델링

World Action Modeling with Progressive Visual Planning

월드 액션 모델(WAM)은 초기 관측값과 지시문으로부터 미래의 시각적 역학(visual dynamics)과 행동(action)을 공동으로 예측함으로써 로봇 제어를 위한 유망한 패러다임으로 부상했습니다. 그러나 밀집된 비디오 롤아웃을 생성하는 것은 비효율성이 매우 높기 때문에 기존 WAM은 장기(long-horizon) 예측에 어려움을 겪습니다. 최근 일부 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하여 이 문제를 해결하고자 하지만, 이러한 접근 방식은 목표를 향해 나아가는 점진적 과정을 간과합니다. 본 논문에서는 행동과 순서화된 희소 시각 하위 목표(sparse visual sub-goals) 시퀀스를 함께 예측하여, 전체 작업 수행 과정 동안 행동 생성을 뒷받침할 명시적인 시각적 가이던스를 제공하는 점진적 월드 액션 모델인 ProWAM을 제안합니다. 하위 목표 예측은 대규모 행동 미포함 비디오(action-free videos)로부터 학습될 수 있어 비디오 백본이 행동 정책으로부터 복잡한 시각적 계획 부담을 덜어줄 수 있으므로, 이 설계는 자연스럽게 확장(scaling)됩니다. 효율적인 행동 생성을 위해 ProWAM은 단 한 번의 비디오 백본 순전파(forward pass)를 실행하여 희소 하위 목표 피처를 캐싱함으로써, 반복적인 전체 비디오 생성을 제거하고 재계획 중에는 경량화된 행동 디노이징만을 요구합니다. 광범위한 평가를 통해 ProWAM은 우수한 분포 외(OOD) 강건성을 달성함을 보여줍니다. 시뮬레이션 벤치마크에서 LIBERO-Plus(85.8%) 및 무작위화된 RoboTwin(75.7%)에서 최고 성능(SOTA)을 새로 기록하며 가장 강력한 기준선(baseline) 대비 최대 +35.9%의 상대적 향상을 보였습니다. RoboCasa365에서는 48.1%의 성공률과 까다로운 Composite-Unseen 분할에서 18.2%를 달성하여 종합 4위를 차지했습니다. 결정적으로 제로샷(zero-shot) 실제 환경 실험에서 ProWAM은 70.0%의 성공률을 달성하여 새로운 환경에서 가장 강력한 기준선 대비 +15.0%포인트(55.0%에서 70.0%로, +27.3% 상대적 향상) 능가했습니다. 이러한 결과는 폐루프(closed-loop) 제어를 위한 진행 상태 기반 시각적 선견(visual foresight)의 가치를 입증합니다. 저희 프로그램은 https://sii-ferenas.github.io/ProWAM-page 에서 확인할 수 있습니다.

arXiv:2610.03453v1cs.RO

I2CD: 시뮬레이션 적용 가능한 충돌 지오메트리를 위한 직접 이미지-볼록 분해

I2CD: Direct Image-to-Convex Decomposition for Simulation-Ready Collision Geometry

물리 시뮬레이터와 모션 플래너는 볼록(convex) 충돌 지오메트리를 필요로 하지만, 이미지-3D 생성 모델은 조밀하고 흔히 논매니폴드(non-manifold)인 시각적 메시를 출력합니다. 현재 이 둘을 연결하려면 복구, 데시메이션(decimation), 근사 볼록 분해로 이어지는 느리고 취약한 '재구성 후 분해(reconstruct-then-decompose)' 파이프라인을 거쳐야 합니다. 본 연구에서는 단일 RGB 이미지로부터 직접 볼록 분해를 예측하는 I2CD를 제시합니다. I2CD는 새로운 이미지-3D 모델을 학습시키는 대신, 사전학습된 Hunyuan3D-2 이미지 조건부 디퓨전 트랜스포머와 형상 디코더를 동결하고 경량 크로스 어텐션 헤드(3,800만 파라미터, 10 GPU 시간 미만)만을 학습시킵니다. 이 헤드의 학습된 '볼록-슬롯(convex-slot)' 토큰은 $K$개 볼록 다포체(convex polytope)의 반평면(halfplane) 파라미터를 출력합니다. 그 결과물은 컴팩트하고 구조적으로 볼록하며, 어떠한 후처리도 없이 이미지당 약 $0.5$초 만에 물리 엔진에 로드됩니다. 별도로 보류된 $227$개의 OmniObject3D 및 Google Scanned Objects 인스턴스에서, I2CD는 8개의 '재구성 후 분해' 파이프라인 중에서 가장 높은 체적 IoU를 달성하는 동시에 엔드투엔드 속도는 $6$-$37\times$ 더 빨랐습니다. MuJoCo, PyBullet, Genesis, Isaac Sim을 아우르는 교차 시뮬레이터 연구에서, 모든 엔진은 전달받은 I2CD 지오메트리를 그대로 사용하는 반면, 원본 생성 메시는 어디서나 '로드'는 되지만 대부분 조용히 다른 충돌 형상으로 대체되거나 객체당 수 초에서 수 분의 전처리가 필요했습니다. 실제 물리 환경의 xArm7에서, I2CD는 20개 물체로 복잡한 장면에 대해 플래너에 즉시 사용 가능한 지오메트리를 가장 강력한 기준선(baseline)의 $328$초 대비 $11$초 만에 생성했으며, 집기 및 놓기(pick-and-place) 실행 성공률도 대등한 수준($100$회 시도 중 $85$회 대 $90$회)을 기록했습니다.