PyTorchKR Papers

최신 논문

총 2,515편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.15937v1cs.RO

MOSAIC: 어수선한 장면에서의 조작을 위한 모듈형 장애물 및 공간 인지 프레임워크

MOSAIC: Modular Obstacle and Spatial-Aware Framework for Manipulation In Cluttered Scenes

비전-언어-행동(VLA) 모델은 로봇 조작에서 강력한 성능을 보여 왔으나, 대부분 2D 시각 관측과 언어 지시에 주로 의존하여 장면 기하와 장애물 관계를 암묵적으로 추론하도록 남겨 둔다. 이러한 한계는 작은 공간 오차가 의도치 않은 접촉이나 충돌로 이어질 수 있는 어수선한 환경에서 특히 문제가 된다. 본 논문은 사전학습된 VLA 정책과 통합되어 객체 수준의 장면 이해와 행동 생성을 향상시킬 수 있는 모듈형 공간 및 장애물 인지 프레임워크 MOSAIC를 제안한다. 제안 방법은 목표 물체, 목적지 영역, 주변 장애물에 대한 역할별 마스크를 예측하는 보조 의미 그라운딩 과제로 VLA 백본을 보강한다. 나아가 목표 및 목적지 마스크를 3D 장면 재구성으로부터 추정한 깊이와 결합하여 역할별 기하 토큰을 구성하고, 이를 행동 전문가(action expert)에 직접 주입한다. 또한 작업 수행 중 로봇 몸체 근처의 장애물을 강조하는 장애물 인지 어텐션 지도(supervision)를 제안한다. 그 결과로 얻어진 어텐션 특징은 이후의 행동 전문가 층에 주입되어 행동 생성을 추가로 유도한다. 이러한 구성 요소들은 사전학습된 VLA 구조를 보존하면서 명시적인 의미, 기하, 장애물 인지 단서를 함께 제공한다. 본 프레임워크를 시각 교란 테스트를 포함한 RoboPRO 벤치마크에서 사전학습된 VLA 모델에 대해 평가하고, 실제 조작 과제에서도 추가로 검증한다. MOSAIC는 어수선한 장면에서 성공률을 5.1%, 시각 교란 하에서 9.7% 향상시키며, 가장 어려운 환경에서는 최대 25.0%의 향상을 보인다. 논문 채택 시 다음 Github 페이지에서 코드와 데이터셋을 공개할 예정이다: https://mmahdavian.github.io/MOSAIC/

arXiv:2611.15834v1cs.CV

촉각을 어디에서 생성할 것인가: 이미지 잠재 공간은 재질 인식을 보존하는가?

Where to Generate Touch: Do Image Latents Preserve Material Recognition?

생성된 촉각은 로봇 학습을 기록된 접촉 너머로 확장할 수 있다. 촉각 생성기에는 잠재 공간이 필요하며, 본 연구는 실제 GelSight 접촉 데이터로 학습한 재질 분류기가 사전 학습된 이미지 모델의 인코딩-디코딩 재구성에서도 여전히 작동하는지를 시험하여 잠재 공간을 선택한다. ObjectFolder Real에서 분류기는 세 가지 16x 이산 토크나이저의 재구성에서 6.5~9.7점 하락하고, Stable Diffusion VAE(SD-VAE)의 재구성에서는 0.3점 하락한다. 16x 토크나이저는 Touch and Go와 DIGIT 물체 인식(YCB-Slide)에서도 다시 훨씬 큰 하락을 보인다. 새로운 라벨 없이 재구성 데이터로 분류기를 재학습하면 이산 토크나이저의 격차가 줄어든다. 또한 SD-VAE 재구성은 물체 정체성도 유지하여, 물체 매칭 정확도가 실제 촉각의 78.9%, MAGVIT-v2의 67.0%에 비해 76.7%이다. 따라서 SD-VAE 잠재 공간을 선택하고, 이 공간에서 학습한 사진-촉각 생성기를 제시한다. 코드는 채택 시 공개될 예정이다.

arXiv:2611.15802v1cs.RO

RUMI: 증강현실 및 햅틱 피드백을 활용한 로봇 학습용 Robotiq 호환 범용 조작 인터페이스

RUMI: A Robotiq-Matched Universal Manipulation Interface for Robot Learning with Augmented Reality and Haptic Feedback

많은 조작 작업은 성공적인 수행을 위해 접촉력을 세심하게 제어해야 하지만, 대규모의 힘 인식 데이터셋은 여전히 부족하다. 핸드헬드 인터페이스는 상호작용 힘을 조작자의 팔을 통해 직접 전달함으로써 도움이 될 수 있으나, 기존 설계의 대부분은 단순한 선형 그리퍼에 맞춰져 있어 널리 사용되는 로봇 그리퍼의 비선형 기구학적 특성과 일치하지 않는다. 본 논문은 Robotiq 2F-85에 맞춘 핸드헬드 범용 조작 인터페이스인 RUMI를 제시한다. RUMI는 교체 가능한 지첨 센서를 갖추어 대상 그리퍼의 형상을 보존하면서, 접촉 전에는 자연스러운 입력을, 접촉 후에는 힘 측정을 가능하게 한다. 추적 시스템을 가상현실 헤드셋에 통합함으로써, 본 방법은 대상 로봇 플랫폼에서 동작의 기구학적 실현 가능성에 대한 실시간 증강현실 피드백을 제공한다. 또한 시뮬레이션 및 실제 로봇에 대한 힘 인식 원격 조작을 지원하는 햅틱 피드백 메커니즘을 도입한다. 사용자 연구 결과, 실시간 로봇 시각화와 자세 초기화를 사용한 경우 관절 한계 위반이 포함된 에피소드가 3/50으로, 증강현실이 없는 경우의 16/50보다 적었다. 아울러 그리퍼 호환 하드웨어로 가능해진 두 가지 서로 다른 지첨 방식으로 수집한 시연 데이터로 모방 정책을 학습하고, 시뮬레이션에서 힘 인식 원격 조작 데이터셋을 수집하는 햅틱 인터페이스의 능력을 평가한다.

arXiv:2611.15589v1cs.RO

EMS-Nav: 임바디드 다중 스케일 내비게이션

EMS-Nav: Embodied Multi-Scale Navigation

산업 점검 로봇은 작업 구역과 특정 장비에 도달해야 한다. 이러한 목적지는 지역에서 객체에 이르는 다양한 공간 스케일에 걸쳐 있으므로, 로봇은 작업을 해석하고 이동할 위치를 결정하기 위해 각 목표를 주변 환경과 연관 지어야 한다. 기존 방법들은 풍부한 환경 표현을 통해 다중 스케일 내비게이션을 지원하지만, 연산 및 저장 비용이 상당하다. 이러한 비용은 무선 통신 범위가 불완전하여 로봇이 내비게이션을 지속하기 위해 온보드 연산에 의존해야 하는 환경에서의 배치를 제한한다. 본 논문은 온라인 온디바이스 동작을 위한 생물학적 영감 기반 다중 스케일 내비게이션 프레임워크인 EMS-Nav를 제안한다. 핵심 혁신은 지각, 공간 이해, 내비게이션을 영역 중심으로 구성하여 국소 공간을 환경 이해와 연산의 기본 단위로 삼는 것이다. EMS-Nav는 객체와 그 관계를 기능적으로 의미 있는 공간으로 묶고, 국소 영역에서 더 넓은 환경에 이르는 계층 구조를 구축한다. 이러한 구성은 효율적인 지도 구축과 함께 서로 다른 스케일의 언어 목표에 대한 해석 및 수행을 지원한다. 다중 스케일 내비게이션 실험에서 EMS-Nav는 객체, 방, 영역, 특정 인스턴스의 네 가지 목표 범주 전반에서 가장 높은 성공률을 달성한다. 또한 최신 오픈 어휘 매핑 및 내비게이션 방법들을 능가하며, 가장 강력한 기준선 대비 전체 첫 시도 성공률을 9.39%p 향상시키는 동시에 매핑 오버헤드와 언어 모델 입력 크기를 줄인다. 실제 실내 환경에서의 로컬 배치는 온디바이스 임바디드 내비게이션에 대한 적용 가능성을 추가로 보여준다. EMS-Nav는 영역을 지각, 공간 이해, 언어 기반 행동의 조직 기반으로 확립함으로써, 다중 스케일 이해와 연산 효율성을 결합하여 자원이 제한된 로봇에서 다양한 언어 목표를 지원하는 시스템을 제공한다.

arXiv:2611.15389v1cs.AI

타이탄 심우주 탐사선의 자율 임무 계획을 위한 물리 제약 심층 강화학습 방법

A physics-constrained deep reinforcement learning method for autonomous mission planning of Titan deep space probes

타이탄은 향후 심우주 탐사의 매력적인 대상이지만, 지구와 타이탄 사이의 극단적인 거리와 복잡한 환경 때문에 지상 개입을 전제로 한 연속적인 계획은 현실적으로 불가능하다. 주로 지구 관측 시나리오를 위해 개발된 기존 계획 방법은 불확실한 심우주 조건에 대한 일반화 능력과 시간에 따라 변하는 임무 상태에 대한 적응성이 제한적이다. 이러한 문제를 해결하기 위해 본 논문은 타이탄 자율 임무 계획을 위한 물리 제약 마스크 가능 근위 정책 최적화(PCM-PPO) 방법을 제안한다. 임무 실행 가능성과 자원 제약을 기술하기 위해 타이탄 특화 이산 시간 마르코프 결정 과정을 구축한다. 중심 중력, J2 섭동, 제3체 인력, 하향링크 엄폐를 포함한 시스템 동역학 및 기하 모델을 도입하여 물리적 표현력을 강화한다. 제한된 행동 차원에서 기회 표적을 수용하기 위해 PCM-PPO는 사전 정의된 표적과 기회 표적을 고정 용량의 표적 풀로 조직하고, 임무 상태를 표적별 상태 행렬과 전역 상태 벡터로 표현한다. 물리 제약 행동 마스크는 현재 임무 상태로부터 허용 가능한 결정 영역을 구성하여, 정책 학습이 물리적으로 실행 가능한 결정을 향하도록 유도하고 실행 불가능한 탐색을 방지한다. 통합 학습 전략은 결합된 제약 아래에서 정책 최적화를 촉진한다. 비교, 제거, 불확실성 실험을 통해 PCM-PPO의 효과를 검증한다. PCM-PPO는 타이탄 심우주 탐사선의 자율 임무 계획을 위한 실현 가능하고 해석 가능한 방안을 제공한다.

arXiv:2611.15215v1cs.AI

AFTER: 오차 기반 보존을 위한 적응형 빠른–느린 시간 척도 월드 모델

AFTER: A World Model with Adaptive Fast--Slow Timescales for Error-Driven Retention

로보틱스와 임바디드 AI에서 월드 모델의 핵심 과제는 상호작용 중 로봇 동역학에 발생하는 갑작스럽고 지속적이며 처음에는 알려지지 않은 변화에 적응하는 것이다. 예를 들어 로봇 팔이 알 수 없는 하중을 가진 물체를 잡으면 로봇 동역학이 갑자기 변한다. 월드 모델이 적응하지 못하면 개루프 롤아웃에서 예측 오차가 누적되어 결국 로봇의 행동을 그르치게 된다. 그러나 기존 월드 모델은 동역학 적응에 필요한 세 가지 핵심 요건을 동시에 충족하기 어렵다. 첫째는 반응성으로, 갑작스러운 변화에 신속히 반응하여 예측 오차 누적을 억제하는 것이다. 둘째는 안정성으로, 지속적인 변화와 일시적인 교란을 구별하여 잘못된 업데이트를 방지하는 것이다. 셋째는 지속성으로, 새로운 관측 없이도 적응된 동역학을 유지하여 이후 예측이 이전 동역학으로 되돌아가지 않도록 하는 것이다. 우리는 다중 시간 척도 적응을 갖는 인간 뇌의 예측 부호화에서 영감을 받아, 오차 기반 보존을 위한 적응형 빠른–느린 시간 척도 월드 모델(Adaptive Fast-slow Timescales for Error-driven Retention)인 AFTER-WM을 제안한다. 이 모델에서는 예측 오차가 사라지는 빠른 보정과 지속되는 느린 보정을 유도하며, 사전 학습된 전문가 모델을 변경하지 않고 그 결합 가중치를 동적으로 조정함으로써 반응성, 안정성, 지속성 사이의 상충 관계를 극복한다. 다섯 개의 시뮬레이션 로봇 데이터셋과 실제 UAV 데이터에서 AFTER-WM은 비교한 열 개 모델 모두보다 낮은 다단계 평균 오차를 보였고, 관절 고장 제어 과제에서 가장 높은 평균 보상을 달성하였다. 시뮬레이션에서 다단계 평균 오차는 가장 강한 비교 모델보다 16%–34% 낮았으며, 변화 후 1–4단계 및 일시적 교란만 존재하는 경우에도 가장 낮았고, 40단계 오차 또한 가장 낮아 반응성, 안정성, 지속성을 반영한다. 방법, 베이스라인, 실험을 포함한 모든 코드와 데이터셋은 온라인으로 공개될 예정이다.

arXiv:2611.15082v1cs.CV

예측인가 지속인가? 미래 예측 점수가 놓치는 월드 모델의 실체

Prediction or Persistence? What Future-Prediction Scores Miss About World Models

사전학습된 비디오 월드 모델은 로봇 학습의 구성 요소로서 대체로 미래 예측 점수에 의해 비교·선택된다. 그러나 이러한 점수는 인코더의 품질, 가까운 미래가 최근 과거와 닮은 정도, 그리고 예측기 자체의 기여가 뒤섞여 있으므로 그것만으로는 예측의 증거로 해석될 수 없다. 우리는 짝지은 통제 실험으로 이 세 요소를 분리한다. 가정 내 1인칭 비디오에서 추출한 27,000건의 미래 검색 시행에서, 모델은 동일 비디오의 후보 11개(우연 수준 0.091) 중에서 클립의 실제 후속 구간을 골라야 하며, 후보는 모델 자체의 학습 기준에 따라 제로샷으로 순위가 매겨진다. 각 모델은 지속(persistence) 통제와 짝지어지는데, 이는 예측기를 한 번도 호출하지 않는 동일한 사본이므로 두 모델의 차이는 예측기의 기여만을 분리해 낸다. 점수와 기여는 네이티브 비디오 V-JEPA 계열 내에서만도 서로 분리된다. 동일한 시행에서 예측기는 V-JEPA 2.1에서는 top-1을 +0.291 높이지만 V-JEPA 2에서는 +0.03에서 +0.04만 높인다. 다섯 개 모델 전반에서 기여는 +0.291에서 음수까지 분포하며, 음수인 경우는 학습 범위 밖에서 평가한 두 행동 조건부 모델뿐이다. 지속 통제만으로도 사전학습에서 기대되는 인코더 순서가 복원되는데, 이는 이 프로브가 실제 신호를 추적한다는 징후이다. 우리는 각 미래 예측 점수를 지속 기준선과 함께 보고할 것을 제안한다. 숫자를 해석 가능하게 만드는 것은 점수가 아니라 둘 사이의 격차이며, 이는 한 번의 순전파 비용만으로 수행할 수 있는 필수 점검이다. 하위 작업에서의 유용성을 입증하는 일은 계획 또는 제어 평가가 다룰 별개의 문제이다.

arXiv:2611.14895v1cs.CV

HeadIO: 머리 착용형 기기의 신경망 관성 오도메트리를 위한 바디 프레임 헤딩 분해

HeadIO: Body-Frame Heading Decomposition for Neural Inertial Odometry on Head-Mounted Devices

관성 측정 장치(IMU)만을 사용하는 관성 오도메트리(IO)는 VR 헤드셋, AR 글라스, 이어버드와 같은 머리 착용형 기기에서 카메라 없는 머리 추적을 가능하게 한다. 기존 IO 방법은 중력 정렬 월드 프레임에서 동작하며, 이는 요(yaw) 등변성을 갖지 않는다. 요 증강은 강건성을 개선하지만 등변성을 보장하지는 않으며, 학습된 등변 레이어는 이를 달성하지만 EqNIO의 전체 파이프라인은 본 방법 대비 FLOPs가 거의 3$\times$에 달한다. 원시 바디 프레임 IMU 입력은 본질적으로 요 불변이지만, 머리 기울임이 중력 신호와 운동 신호를 기기 축들에 걸쳐 재분배하므로 그 표현은 기울임에 대해 가변적이다. 본 논문은 바디 프레임 헤딩 분해와 양방향 Mamba 백본을 결합한 머리 착용형 관성 오도메트리 방법인 HeadIO를 제안한다. 제안하는 분해는 기기 방향의 기울임 성분만을 사용하여 중력 정렬 성분과 수평 성분을 분리함으로써 기울임 불변성을 달성한다. 네 가지 머리 착용형 데이터셋에서 평가한 결과, HeadIO는 가장 큰 벤치마크 데이터셋인 Nymeria에서 학습된 등변 레이어를 사용하는 월드 프레임 방법 대비 RTE-5s를 8.1%(0.260 m $\to$ 0.239 m) 개선하며, FLOPs는 거의 3$\times$ 낮고 파라미터는 8$\times$ 적다. HeadIO는 제안한 분해 방법에 바디 프레임 의미론을 기본적으로 제공하는 모든 Aria 글라스 데이터셋에서 주요 지표인 RTE-5s에 대해 최고 성능을 달성한다. 또한 Nymeria에서 IMU만 사용하는 배포 시나리오를 평가하였으며, 여기서도 HeadIO는 최고 성능을 유지한다. 본 방법은 주로 중력 신호로부터 얻을 수 있는 기울임 정확도에 의존함을 보인다. 요의 경우, 단일 계수 자이로스코프 보정으로 요 오차의 11.6%를 제거하고 RTE-5s를 2.5% 개선하며, 희소한 외부 요 보정(예: 30초마다 한 번)은 RTE-5s를 12.0% 개선할 수 있다. 제안하는 분해는 경량이며 어떤 백본과도 결합 가능하고, 머리 착용형 기기에서의 실시간 배포에 적합하다.

arXiv:2611.14840v1cs.LG

SPIRE: 자율적 상황 추론과 인과적 운동 프리미티브 재사용을 통한 과제 비의존적 체화 지속 학습

SPIRE: Task-agnostic embodied continual learning through autonomous situation inference and causal motor-primitive reuse

체화 지속 학습에서는 제어기가 과제 레이블이나 알려진 경계 없이 변화하는 상황을 추론하고, 이전 행동을 유지하며, 운동 기술을 재사용해야 한다. 어려운 점은 언제 이전 행동을 복원할지, 그리고 어떤 기술이 새로운 학습을 뒷받침할 수 있는지를 결정하는 것이다. 우리는 행동-결과 증거로부터 잠재 맥락을 추론하고 맥락별 운동 액터를 온라인으로 학습하는 순환 스파이킹 시스템인 SPIRE(Situation-guided Primitive Integration for Recurrent Embodiment)를 소개한다. 성숙한 액터는 보호되는 소스가 되어 대상 맥락 잔차와 결합하여 순환 스파이킹 운동 집단을 구동한다. 좌표 제어, 3관절 제어, 숨은 힘 제어 전반에서 SPIRE는 제어를 유지하고, 상황을 자율적으로 추론하며, 이전 행동을 보존했고, 보지 못한 소스 조합의 습득을 가속하여 기준 도달까지의 평균 상호작용 횟수를 짝지어진 새 제어기 대비 약 40% 줄였다. 호환되는 소스 액터를 되감는 개입은 모든 짝지어진 개입에서 초기 습득을 저해하여 인과적 재사용을 입증했다. 7개의 순환 지속 학습 및 모듈형 제어 비교 대상과 비교했을 때, SPIRE는 각 짝지어진 스트림에 대해 선택된 가장 강한 적격 과제 비의존적 대안의 평균 선행 학습 이점의 2.4배를 달성했다. 이러한 결과는 연속적인 체화 제어에서 새로운 학습을 위한 운동 기술의 자율적 복원과 인과적 재사용을 보여 준다.

arXiv:2611.14834v1cs.RO

고정된 비전-언어-행동 모델을 위한 저지연 행동 검증 학습

Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 범용 로봇 조작 분야에서 상당한 진전을 이루었다. 그러나 샘플링된 행동 시퀀스는 효과적이지 않을 수 있으며, 계산 비용이 큰 검증기로 대안을 평가하면 정책 질의마다 지연이 추가된다. 본 연구에서는 고정된 VLA 자체의 배포 경험에서 얻은 사후 정보(hindsight)를 활용해 행동 검증을 개선하는 경량 프레임워크 HDH를 제안한다. 이 프레임워크는 세 단계로 구성된다. 먼저 정책을 배포하여 자율 롤아웃을 수집한다. 이어서 각 행동 청크에 예측된 과제 성공 점수를 부여하는 소형 행동 검증기를 학습한다. 마지막으로 고정된 VLA가 행동 후보를 생성하고, 검증기가 가장 높은 점수의 후보를 선택하여 실행한다. LIBERO-10의 4개 과제에서 HDH는 평균 성공률 82.3%를 달성하였고, 3개의 실제 환경 조작 과제에서는 기준 정책 대비 평균 성공률을 22.6% 향상시켰다.

arXiv:2611.13382v2cs.RO

멀티 로봇 작업 할당의 조합 최적화를 위한 이산 모델 기반 확산

Discrete Model-Based Diffusion for Combinatorial Optimization in Multi-Robot Task Allocation

멀티 로봇 시스템의 의사결정은 흔히 이산 결정 변수를 수반하여, 준실시간 구현을 위해 수 초 내에 풀어야 하는 NP-난해 조합 최적화 문제로 이어진다. 잡음 제거 확산은 이러한 문제에 강력한 도구로 부상했지만 기존 접근법은 절충에 직면한다. 모델 기반 확산(MBD)은 학습 없이 샘플링 기반 최적화(SBO)에 확산을 접목하지만 연속 공간에서만 가능하며, 기존의 확산 기반 조합 풀이기는 이산 공간에서 작동하지만 오프라인 학습이 필요하다. 이를 위해 본 논문은 몬테카를로 샘플링으로 범주형 역전이 분포를 근사하여 이산 변수를 직접 최적화하는 학습 불필요 SBO 기법인 이산 모델 기반 확산(Discrete MBD)을 제안한다. 전역 최소해를 찾을 확률에 대한 유한 단계 하한을 수립하고, 이 하한이 잡음 제거 단계 수가 증가함에 따라 1로 수렴함을 보인다. 일반 정수 계획 문제와 이종 멀티 로봇 연합 형성 및 스케줄링에 대한 광범위한 실험에서, Discrete MBD는 거의 모든 설정에서 SBO 베이스라인을 능가하면서 혼합 정수 계획법 및 강화학습 기법에 견줄 만한 해의 품질을 계산 비용의 일부만으로 달성함을 보인다.

arXiv:2611.12870v2cs.CV

SWAM: 교차 모달 정렬을 통한 월드 액션 모델의 확장

SWAM: Scaling World Action Models with Cross-Modal Alignment

월드 액션 모델은 언어를 조건으로 비디오와 행동을 함께 예측한다. 기존 연구는 주로 아키텍처와 학습 메커니즘에 초점을 맞추며, 비디오 사전 학습을 통해 얻은 언어-비디오 정렬을 일반적으로 이미 확립된 기반으로 취급한다. 그러나 행동 학습을 도입하면 이 정렬이 손상될 수 있다. 행동 학습 중에 언어-비디오 정렬을 유지하기 위한 데이터 및 지도 설계에 대한 원칙적인 지침은 아직 제한적이다. 이를 조사하기 위해 우리는 일반 비디오, 1인칭 비디오, UMI 시연, 로봇 시연으로 구성된 약 47,000시간 규모의 풀을 구축한다. 이를 바탕으로 언어-비디오 지도, 언어-비디오-행동 지도, 그리고 이 둘의 결합 사용이 WAM 성능에 미치는 영향을 체계적으로 연구한다. 특히 언어 주석의 품질이 사전 학습된 언어-비디오 능력에 어떤 영향을 미치는지, 그리고 UMI 및 로봇 시연의 행동 지도가 이러한 능력을 언어-비디오-행동 모델링으로 어떻게 확장하는지를 살펴본다. 모델을 더 잘 확장하기 위해 공동 학습 레시피와 모델 아키텍처에 대해서도 상세한 연구를 수행한다. 고정된 학습 예산 하에서 1인칭 비디오와 UMI 시연을 혼합하면 제어 일반화가 향상된다. 모델 아키텍처는 이러한 경험이 얼마나 효과적으로 활용되는지에 영향을 미치며, 선택된 구성에서 사전 학습을 확장하면 추가적인 성능 향상이 나타난다. 그 결과로 얻은 레시피는 RoboTwin Clean 시연만으로 사후 학습했을 때 Easy(Clean-to-Clean) 조건에서 88.10%, Hard(Clean-to-Random) 조건에서 61.56%의 성공률을 달성한다. 우리의 모델은 세 가지 실제 환경 과업에서 40.00%의 SR을 달성하여 가장 강한 기준선의 23.33%를 상회하며, 이는 보지 못한 조건에서 더 나은 일반화를 나타낸다. 우리는 구축한 데이터, 학습 코드, 모델 가중치를 공개한다.

arXiv:2611.12038v2cs.RO

DPGS-SLAM: 동적 시각 센싱을 위한 확산 사전 분포 및 출처 인식 단안 가우시안 스플래팅 SLAM

DPGS-SLAM: Diffusion-Prior and Provenance-Aware Monocular Gaussian Splatting SLAM for Dynamic Visual Sensing

본 논문은 동적 객체가 존재하는 환경에서의 밀집 매핑을 위한 DPGS-SLAM(Diffusion-Prior and Provenance-Aware Monocular Gaussian Splatting SLAM)을 제안한다. 동적으로 움직이는 객체는 동적 관측이 카메라 추적과 장면 재구성을 오염시킬 수 있기 때문에 밀집 시각 SLAM에서 여전히 중요한 과제이다. 3DGS(3D Gaussian splatting)는 효율적인 밀집 매핑을 가능하게 하지만, 기존 3DGS-SLAM 시스템은 동적 객체가 그 기저의 정적 장면 가정을 위배할 때 불안정성을 보일 수 있다. 동적 관측을 제외하면 추적과 매핑에 대한 영향은 줄일 수 있으나, 가려진 정적 배경이 누락되거나 제약이 약해질 수 있다. 제안하는 DPGS-SLAM은 단안 RGB SLAM 프레임워크로서, 비동기 확산 기반 배경 보완과 출처 인식 가우시안 매핑을 통해 충분히 관측되지 않은 정적 배경에 대한 임시 표현을 지원한다. 동적 영역은 옵티컬 플로 기반 움직임 탐색과 SAM2에 의한 시간적으로 일관된 마스크 전파를 통해 식별된다. 선택된 키프레임에 대해, 미세 조정된 확산 인페인팅 모델이 가려진 영역에서 그럴듯한 배경 외관을 생성하며, 보완된 이미지로부터 예측한 미터법 깊이가 임시 가우시안 프리미티브를 초기화한다. 출처 레이블은 생성된 프리미티브와 관측에 의해 뒷받침되는 프리미티브를 구분하여, 생성된 콘텐츠를 카메라 자세 추정과 관측 맵 최적화에서 제외한다. 이전에 가려졌던 배경이 보이게 되면, 조건을 충족하는 생성된 프리미티브는 제거되고, 관측에 의해 뒷받침되는 프리미티브가 실제 RGB 관측과 예측 깊이로부터 독립적으로 초기화된다. 실험 결과 경쟁력 있는 카메라 추적 성능을 보였으며, TUM RGB-D와 BONN RGB-D 데이터셋에서 평균 ATE RMSE는 각각 1.2 cm와 2.7 cm였다. StaDy4D에서 DPGS-SLAM은 단안 RGB 입력만으로 WildGS-SLAM 대비 평균 PSNR을 4.60 dB 향상시켰다.

arXiv:2611.11854v2cs.RO

휴머노이드를 위한 분리형 비동기 시스템(DASH): 휴머노이드 조작을 위한 비전-언어-행동 모델의 지연 시간 무관 확장

Decoupled Asynchronous System for Humanoids (DASH): Latency-Agnostic Scaling of Vision-Language-Action Models for Humanoid Manipulation

비전-언어-행동(VLA) 모델은 비전-언어 백본과 행동 헤드를 결합하지만, 폐루프 제어에서는 백본이 제어의 핵심 경로에 놓인다. 백본이 연산하는 동안 로봇은 계속 움직이므로, 실행되는 각 행동은 점점 오래된 관측에 조건화된다. 따라서 백본이 클수록 반응성이 직접적으로 저해되며, 특히 휴머노이드의 정교한 조작에서 그러하다. 본 논문은 이러한 결합을 제거하는 휴머노이드용 분리형 비동기 시스템 DASH를 제안한다. DASH는 정책을 느린 비전-언어 모델(System 2)과 빠른 플로 매칭 행동 헤드(System 1)로 나누어 LCM 통신 프로토콜 위에서 동시 프로세스로 실행하며, 따라서 제어 주기는 백본 크기와 무관하게 행동 헤드만으로 결정된다. 행동 헤드는 고정된 백본의 오래된 의미 정보를 자체 ResNet 인코더의 최신 시각 정보와 융합하고, 비동기화 학습을 통해 배포 시 마주치는 오래됨(staleness)에 노출되며, 적응형 시간 집계기가 가변적인 추론 지연 하에서 겹치는 행동 청크를 정렬한다. 추론 지연을 시뮬레이션 시간에 반영하는 비동기 RoboTwin 벤치마크에서, DASH는 0.8B에서 8B까지의 백본에 대해 20 Hz 제어율을 유지한 반면 동기식 제어율은 9.7 Hz에서 4.1 Hz로 떨어졌으며, 모든 크기에서 더 높은 성공률을 보였다. 정교한 손을 갖춘 실제 휴머노이드에서 DASH는 동기식 파이프라인보다 뚜렷하게 높은 pick-and-place 성공률을 달성했다.

arXiv:2611.08577v3cs.RO

Meituan-Robotics-0: 데스크톱 조작을 위한 비전-언어-행동 파운데이션 모델

Meituan-Robotics-0: A Vision-Language-Action Foundation Model for Desktop Manipulation

본 논문은 고정 베이스 데스크톱 조작을 위한 비전-언어-행동 파운데이션 모델이자 임바디드 에이전트 시스템인 Meituan-Robotics-0(MR0)를 제시한다. MR0는 1억 4,700만 개의 비전-언어 샘플과 12가지 임바디먼트에 걸친 15,060시간의 정제된 로봇 궤적을 결합한다. 3단계 학습 방식은 이산 행동 토큰 사전학습을 통해 멀티모달 표현을 로봇 행동과 정렬하고, 플로 매칭 중간 학습을 통해 이러한 사전 지식을 연속적인 교차 임바디먼트 제어로 전이하며, 실제 환경 사후 학습을 통해 정책을 적응시킨다. 본 논문은 Rollback을 도입한다. Rollback은 교체된 정책 구간을 사람의 수정과 짝지어, 가치 학습이나 어드밴티지 라벨링 없이 CFG-DAgger에 긍정 및 부정 지도 신호를 제공한다. 통합 엔드 이펙터 인터페이스는 이종 임바디먼트를 지원하며, 비동기 행동 청크 병합은 추론 지연 시간이 변동하는 상황에서도 부드러운 실행을 유지한다. 이벤트 기반 에이전트는 지속적인 작업 이벤트를 유지하고 진행 상황이나 실현 가능성이 변할 때 계획을 재평가하여, 작업 간 검색과 조건부 작업 재개를 가능하게 한다. MR0는 RoboTwin 2.0에서 93.6%의 성공률을 달성하고 RoboDojo VLA 트랙에서 5위를 기록한다. 동일한 HG-DAgger 사후 학습 조건에서 MR0는 세 가지 실제 로봇 작업 전반에서 $\pi_{0.5}$보다 높은 평균 성공률과 진행 점수를 달성한다. 이더넷 삽입 작업에서 Rollback 데이터로 학습한 CFG-DAgger는 70%의 성공률과 0.90의 진행 점수에 도달한다. 정성적 에이전트 배포 사례는 작업 간 이벤트 검색과 일시적으로 충족되지 않은 작업 조건으로부터의 복구를 보여준다.

arXiv:2611.00180v3cs.RO

살아가는 법 배우기: 평생 체화 지능을 향한 한 걸음

Learning to Live: A Step Toward Lifelong Embodied Intelligence

체화 에이전트는 보통 개별 과제를 중심으로 구성되지만, 물리 세계는 과제 사이와 수행 도중에도 계속 변한다. 본 논문은 로봇이 지속적으로 관찰하고, 선택적으로 기억하며, 경험을 새로운 능력으로 전환하는 프레임워크인 LIFE(Lifelong Intelligence from Experience)를 소개한다. 경량 스트리밍 게이트 계열인 RoboBeats는 에이전트가 설정한 조건을 추적하고 새로운 사건을 발견하여, 관찰이 응답이나 메모리 기록을 필요로 하는지 결정한다. 선택된 관찰은 원본 증거를 보존하는 이미지와 구조화된 레코드의 평면 저장소인 Plastic Memory에 들어가며, 이후 질문에 필요할 때 새로운 필드와 인덱스를 추가할 수 있다. 기존 도구가 부족할 때 Explore-Distill-Mount(EDM)는 문제 해결 중에 찾은 해법을 검증된 재사용 가능한 도구와 기술로 전환한다. 동일한 프로토콜 하에서 RoboBeats는 기반 모델보다 조건 추적을 크게 향상시키며, 같은 기록 예산에서 균일 샘플링보다 메모리 질의응답에 더 유용한 증거를 더 많이 보존한다. 실제 로봇이 기록한 24시간 분량의 연속 영상을 재생하는 소규모 사례 연구는, 통합 시스템이 하루의 경험으로부터 메모리를 구축하고 이를 이용해 일상적인 질문에 답하는 방식을 보여 준다. LIFE는 경험을 통해 주변 환경에 더 익숙해지고 더 유능해지는 로봇, 즉 과제를 완수하는 법뿐 아니라 세상에서 살아가는 법을 배우는 로봇을 향한 한 걸음을 내디딘다.

arXiv:2610.41216v2cs.RO

TinyAstral: 자기 진화 하네스를 소형 범용 조작 에이전트로 전이하기

TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents

비전-언어 모델 기반 로봇 에이전트는 플래너와 그 하네스, 즉 플래너를 둘러싼 도구, 피드백, 메모리, 복구 로직 모두에 의존한다. 대형 교사 모델의 하네스에서 이룬 개선을 더 낮은 추론 연산 비용의 소형 에이전트로 옮길 수 있을까? 우리는 2단계 접근법인 TinyAstral을 제시한다. 먼저 오픈 웨이트 교사 모델을 고정하고 재귀적 자기 개선(RSI)을 통해 하네스를 개선한다. 최첨단 LLM 에이전트가 교사의 궤적을 읽고 하네스 수정을 제안하며, 각 수정은 쌍체 통계 검정을 통과할 때만 수용된다. 그런 다음 최종 하네스를 고정하고, 추론과 실패 복구를 포함한 교사 궤적을 수집하여, 같은 하네스에서 교사를 대체하는 소형 학생 모델을 증류한다. RoboTwin에서 하네스 진화는 교사의 성공률을 33.4%에서 63.6%로 높이며, 최종 4B 학생 모델은 62.8%에 도달한다. 네 가지 하네스 버전 전반에서 증류된 4B 학생 모델은 대응하는 교사에 가까운 점수를 얻고, 이후 버전일수록 더 강한 학생 모델을 산출하여 하네스 진화의 이득이 소형 모델로 이어짐을 보여 준다. 하네스의 이득은 재학습 없이 다른 고정 플래너로도 전이된다. 동일한 에피소드에서 최종 4B 학생 모델은 공개 4B 에이전트, 공개 27B 하네스-RSI 모델 SenseNova-RoboRSI, 그리고 세 경쟁 모델의 하네스에 넣은 우리 교사 모델보다 우수하다. 세 가지 학습 벤치마크 모두에서 교사에 근접한 성능을 유지하며, RSI나 학습에 한 번도 사용하지 않은 세 벤치마크에서는 같은 하네스를 실행하는 552B 플래너에 근접한 점수를 얻는다. 측정된 배포 에피소드에서 교사의 가속기 시간의 약 5분의 1만 사용한다. 프로젝트 페이지: https://garfield-kh.github.io/TinyAstral/

arXiv:2610.29647v2cs.RO

공간 읽기: 부분적으로 시공된 환경에서 스케일이 모호한 희소 VSLAM 지도를 평면도에 의미론적으로 정합하기

Reading the Room: Scale-ambiguous Semantic Registration of Sparse VSLAM Maps to Floor Plans in Partially Built Environments

진행 상황 추적과 같은 많은 로봇 건설 응용은 센서 궤적을 사전에 주어진 2D 평면도에 정합할 것을 요구한다. 시각적 캡처는 낮은 비용과 접근성 때문에 매력적이지만, 시각적 동시적 위치 추정 및 지도 작성(VSLAM) 지도를 평면도에 정렬하는 것은 어렵다. VSLAM은 미지의 유사 변환(similarity transform)에 대해서만 기하를 복원하고, 희소 점군은 기호적 평면도와 교차 모달이며, 캡처 중 현장은 부분적으로만 시공되어 있고, 건설 현장은 시각적으로 반복적이어서 지도 품질을 저하시키는 동시에 구별되는 특징을 제거하기 때문이다. 기존 방법은 이러한 과제 중 기껏해야 두 가지만 다룬다. 이에 본 연구는 스케일이 모호하고 희소한 의미론적 VSLAM 지도를 부분적으로 시공된 평면도에 정합하는 전역-지역 접근법인 Reading the Room(RR)을 제안한다. 핵심 아이디어는 파이프라인의 모든 단계를 지배하는, 강건하고 미분 가능하며 클래스 균형이 잡힌 단일 의미론-기하 에너지 함수를 정의하는 것이다. 우리는 두 가지 전역 초기화 방식을 개발한다. 하나는 제공될 경우 사용자가 제공한 단일의 부정확한 대응을 활용하고, 다른 하나는 교차 모달 매칭 네트워크를 사용하여 초기화를 전역적으로 추정한다. 두 방식 모두 에너지 함수에 대해 초기 후보를 찾도록 설계되었으며, 이후 이 에너지 함수를 직접 최적화하여 지역 정제를 수행한다. 세 곳의 진행 중인 건설 현장에서 얻은 33개 시퀀스에 대해 고전적 및 학습 기반 베이스라인과 비교하여 RR을 평가한 결과, 일반적인 제약 없는 설정에서 가장 강력한 베이스라인 대비 평균 절대 궤적 오차가 4.5배 개선되었으며, 앵커가 제공되면 7.6배로 증가한다.

arXiv:2610.07594v3cs.RO

BiGym 2.0: 휴머노이드 가사 조작을 위한 학습 기반 및 에이전트 개발 정책 벤치마킹

BiGym 2.0: Benchmarking Learned and Agent-Developed Policies for Humanoid Household Manipulation

휴머노이드의 가정 내 조작 작업에서는 신체가 균형을 잡고, 걸음을 내딛고, 자세를 바꾸는 동안 팔이 동작해야 한다. 본 논문은 통합 전신 제어기를 사용하여 시연 수집과 평가를 수행하는, Unitree G1용 20개 가정 내 과제로 BiGym을 확장한 BiGym 2.0을 제시한다. 이 벤치마크 모음은 과제당 60개의 실제 인간 가상현실 시연을 제공하며, 동기화된 다중 카메라 영상과 전신 실행 기록을 포함한다. 본 연구는 비전-언어-행동 미세 조정, 모방 학습, 시연 기반 강化 학습, 그리고 온라인 강화 학습과 동일한 상호작용 예산이 주어진 콜드 스타트 코딩 에이전트를 벤치마크한다. 모든 방법에 동일한 온보드 영상, 고유수용성 감각, 전신 제어기를 사용한 조건에서, 비전-언어-행동 미세 조정이 9개 과제 평균에서 가장 높은 성능을 보였고, 에이전트가 개발한 프로그램은 이 평균에서 모든 시연 기반 강화 학습 기준 방법을 능가하였으며 양팔 도달 과제에서 선두를 차지하였다. 작업 공간을 가로지르는 적재 과제는 여전히 해결되지 않았고, $\pi_{0.5}$는 상자 집기에서 낮은 성능에 머물렀으며, 다중 물체 운반은 모방 학습, 시연 기반 강화 학습, 코딩 에이전트 모두에게 어렵다. 모든 환경, 인간 시연, 평가 기록은 https://github.com/swirl-uk/BiGym2 에서 오픈소스로 공개된다.

arXiv:2610.03391v2cs.CV

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.