arXiv:2606.17511v1 cs.RO

MagicSim: 실행 가능한 구현된 상호작용을 위한 통합 인프라

MagicSim: A Unified Infrastructure for Executable Embodied Interaction

Haoran Lu, Songling Liu, Yue Chen, Guo Ye, Mutian Shen, Shuyang Yu, Yu Xiao, Jihai Zhao, Shang Wu, Jianshu Zhang, Xiangtian Gui, Chuye Hong, Yuran Wang, Maojiang Su, Jiayi Wang 외 3명

제출 2026-06-16

한국어 초록

로봇 학습과 구현된 에이전트(embodied agent)는 이제 시뮬레이션이 렌더러, 컨트롤러 테스트베드, 또는 고정된 태스크 환경으로만 기능하는 것이 아니라, 제어·기술·계획을 연결하는 공유 실행 기반으로 작동할 것을 요구한다. 기존 파이프라인은 "매직" 액션, 단절된 학습 환경, 또는 동일 에피소드를 재현·평가·주석 처리할 수 없는 단방향 렌더로 이러한 계층을 분리한다. 우리는 하나의 결정론적 배치 런타임과 공유 마르코프 결정 과정(MDP)을 중심으로 구축된 구현된 상호작용 인프라 MagicSim을 제안한다. MagicSim은 콘텐츠·배치·행동·에이전트 노출을 분리하는 YAML 우선 명세로부터, 태스크 패밀리·상호작용 체제·물리·레이아웃·센서·아바타·로봇 구현체를 아우르는 다양한 실행 가능 세계를 단일 리셋-스텝 루프로 구성한다. 공통 실행 인터페이스는 고수준 명령을 컨트롤러, 원자적 기술(atomic skill), 플래너 프리미티브, 비동기 계획을 통해 그라운딩하여, 시뮬레이터 측 상태 편집이 아닌 로봇 액션으로 실현한다. 하나의 태스크 정의가 세 가지 기능을 지원한다: 벤치마크 및 강화학습(RL) 평가, 명령을 그라운딩된 궤적으로 자동 변환하는 자동 수집 인터페이스, 그리고 에이전트/VLM 대향 상호작용. 자동 실행 시 명령은 Command→Skill→Planner→Robot→Record 파이프라인을 통해 흐르며, 환경별 명령·기술·계획·재시도·주석·에피소드 상태는 공유 물리 틱(physics tick) 위에서 독립적으로 진행된다. 성공한 롤아웃은 언어 지도, 액션 표현, 시각적·기하학적 표현, 태스크 수준 상태를 실행된 에피소드와 정렬하는 구조화된 멀티모달 궤적으로 저장된다. 이처럼 MagicSim은 다양한 세계 구성, 구현된 실행, 태스크 평가, 자동 롤아웃 생성, 대화형 에이전트 인터페이스를 플래너-인-더-루프 런타임 하나로 통합한다.

원문 초록

Robot learning and embodied agents now require simulation to serve as a shared execution substrate linking control, skills, and planning, not only as a renderer, controller testbed, or fixed task environment. Existing pipelines split these layers with "magic" actions, disconnected training environments, or forward-only renders that cannot reproduce, evaluate, and annotate the same episode. We present MagicSim, an embodied interaction infrastructure built around one deterministic batched runtime and a shared Markov decision process (MDP). From YAML-first specifications that decouple contents, placement, behavior, and agent exposure, MagicSim constructs diverse executable worlds spanning task families, interaction regimes, physics, layouts, sensors, avatars, and robot embodiments in one reset-and-step loop. A common execution interface grounds high-level commands through controllers, atomicskills, planner primitives, and asynchronous planning, realizing them as robot actions rather than simulator-side state edits. One task definition supports three capabilities: benchmark and RL evaluation, an autocollect interface that automatically turns commands into grounded trajectories, and agent/VLM-facing interaction. For automatic execution, commands flow through a Command->Skill->Planner->Robot->Record pipeline, while per-environment command, skill, planning, retry, annotation, and episode states advance independently above the shared physics tick. Successful rollouts are saved as structured multimodal trajectories aligning language supervision, action representations, visual/geometric representations, and task-level status with the executed episode. MagicSim thus unifies diverse world construction, embodied execution, task evaluation, automatic rollout generation, and interactive agent interfaces in one planner-in-the-loop runtime.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17511v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13628v1cs.RO공통 태그 Imitation Learning, Continuous Control, Benchmarking

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13816v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning, Continuous Control

Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.

arXiv:2610.03710v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning, Continuous Control

EyeRobot 2.0: 손목 카메라 없이 정밀한 조작을 가능하게 하는 능동적 시선 제어

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

인간의 시각 체계에서 영감을 받아, 단일 스테레오 카메라만으로 정밀한 양손 조작(bimanual manipulation)을 가능하게 하는 능동적 시선 제어(active gaze) 기반 프레임워크를 소개합니다. EyeRobot 2.0은 두 눈의 시점을 회전시켜 시선을 장면에 위치한 3D 주시점(fixation point)의 중심에 맞춤으로써 물리적으로 집중합니다. 그 결과로 얻은 영상은 이미지 중심부에 더 많은 시각적 토큰(token)을 할당하여 중심와 방식으로 처리되며, 연산 자원을 작업과 관련된 특징에 집중시킵니다. 이러한 능동적 시각 고정(Active Visual Fixation, AVF)은 작업 수행 중 정교하게 조율된 시선을 필요로 하므로, 본 연구에서는 계층적 방식으로 이를 구현합니다. 먼저 목표 물체를 조건으로 하는 하위 레벨 시선 서보잉(gaze servoing) 정책을 학습(training)한 후, 작업 진행 상황에 따라 주시 목표를 생성하는 타깃 선택기(target selector)를 학습합니다. 두 모듈 모두 실제 환경 데이터를 바탕으로 강화학습(RL)을 통해 학습됩니다. 첫 번째 모듈은 조밀한 기하학적 보상(reward)으로 학습되며, 두 번째 모듈은 행동 복제(BC) 그리퍼 정책과 함께 공동 학습되어 작업을 수행하는 동안 인간의 주시 순서와 유사한 주시 시퀀스를 발견할 수 있게 합니다. 또한 EyeRobot 2.0은 그리퍼 정보를 주시 기준의 SE(3) 좌표계로 정규화하여 학습해야 할 행동 분포의 크기를 축소함으로써 주시의 이점을 극대화합니다. 본 연구는 7개의 실제 환경 작업과 6개의 시뮬레이션 작업에 대해 원격 조작(teleoperation) 데이터를 수집하고, 동일한 데이터로 학습된 수동적 스테레오 및 1인칭+손목 카메라 정책과 EyeRobot 2.0을 비교하는 1,000회 이상의 실제 로봇 실험과 1,800회 이상의 시뮬레이션 실험을 수행했습니다. 표준 정책에서 손목 카메라를 제거하는 것은 큰 성능 저하를 초래하여, 수동적 스테레오만 사용할 경우 실제 환경 성공률이 52%에서 27%로 떨어집니다. EyeRobot 2.0은 스테레오 카메라만으로 이 격차를 좁혀 실제 환경에서 40%, 시뮬레이션에서 20% 수동적 스테레오보다 우수한 성능을 보였습니다. 또한 손목 시야가 확보된 경우 1인칭+손목 카메라 정책과 대등한 성능을 보였으며(69% 대 64%), 파지한 물체가 손목 카메라를 가릴 때는 성공률을 두 배 이상 끌어올렸습니다(48% 대 22%).

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning, Continuous Control

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making, Benchmarking

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.