CoStream: 일반화 가능한 복잡 조작을 위한 단순 행동의 조합
CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation
한국어 초록
GPU를 PCIe 슬롯에 장착하는 것과 같은 장기적(long-horizon)이고 접촉이 많은(contact-rich) 복잡 조작 작업은 밀리미터 수준의 높은 정밀도와 새로운 작업에 대한 즉각적인 일반화(out-of-the-box generalization)를 모두 요구한다. 기존 패러다임은 이 둘을 동시에 만족시키기 어렵다. 고전적 파이프라인은 높은 정밀도 제어를 위해 깨지기 쉬운(brittle) 작업별 인터페이스를 사용하지만, 새 작업에 적응하려면 비용이 큰 파이프라인 재설계가 필요하며, 단일(monolithic) end-to-end 정책(policy)은 더 나은 일반화를 제공하지만 복잡한 분포 외(out-of-distribution) 작업에서는 새 데이터로 재학습하지 않으면 높은 정밀도가 부족하다. 두 패러다임 모두 조작 능력을 한번 습득하면 이를 자유롭게 분해하고 재조합하는 것이 아니라, 경직된 파이프라인이나 단일체 전체로 배포해야 한다는 암묵적 가정을 공유한다. 본 논문에서는 복잡한 조작 능력이 단순하고 독립적인 행동들의 조합으로부터 자연스럽게 창발할 수 있음을 보인다. 단일 정책이나 경직된 파이프라인을 배포하는 대신, 우리는 foundation model과 다양한 센싱 모달리티를 여러 개의 조합 가능한(composable) 핵심 행동으로 조율(orchestrating)하는 프레임워크인 CoStream을 제안한다. 의미(semantic) 행동은 foundation model을 통해 공간적 제약을 추출하고, 예측(predictive) 행동은 상상(imagined) 비디오에서 키포인트를 추적하여 궤적을 예측하며, 반응(reactive) 행동은 고주파 촉각 및 힘 보정을 제공한다. 공유된 $SE(3)$ 인터페이스에서 이러한 출력들은 각 제어 단계마다 우측 곱(right-multiplication)으로 단일 포즈(pose) 명령으로 조합되며, 순응(compliant) 제어기에 의해 실행된다. 우리는 일상 조작과 정밀 조립을 아우르는 8개의 실세계 작업에서 CoStream을 시연하고, 접촉이 많은 조립 및 객체 이동에서 가장 큰 향상을 보이며, 실행 중 수동 교란(manual perturbations)으로부터의 견고한 복구를 보여준다. {Website:} https://costream-simple.github.io
원문 초록
Long-horizon, contact-rich complex manipulation tasks, such as seating a GPU into a PCIe slot, demand both millimeter high precision and out-of-the-box generalization to new tasks. Existing paradigms struggle to satisfy both: classical pipelines use brittle, task-specific interfaces to achieve high-precision control but require costly pipeline redesigns to adapt to new tasks, whereas monolithic end-to-end policies provide better generalization but lack high precision on complex, out-of-distribution tasks unless retrained with new data. Both paradigms share an implicit assumption: once a manipulation capability is acquired, it must be deployed as a rigid pipeline or monolithic whole, rather than being freely decomposed and recomposed. In this paper, we show that complex manipulation capabilities can emerge naturally from the composition of simple, independent behaviors. Rather than deploying a monolithic policy or a rigid pipeline, we propose \ourshort, a framework orchestrating foundation models and diverse sensing modalities into multiple composable core behaviors: a semantic behavior extracting spatial constraints via foundation models; a predictive behavior forecasting trajectories by tracking keypoints in imagined videos; and a reactive behavior providing high-frequency tactile and force corrections. On a shared $SE(3)$ interface, these outputs compose by right-multiplication into a single pose command at each control step, executed by a compliant controller. We demonstrate \ourshort on 8 real-world tasks spanning everyday manipulation and precision assembly, with the strongest gains in contact-rich assembly and object transfer, and show robust recovery from manual perturbations during execution. {Website:} https://costream-simple.github.io
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26423v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상
GlanceWAM: Sparse Test-Time Imagination for World-Action Models
JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크
JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation
비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
크로노스 정책(Chronos Policy): 물리적 시간에 기반한 로봇 정책 학습
Chronos Policy: Learning Robot Policies on Physical Time
로봇 정책(policy)은 흔히 센싱(sensing)과 제어(control)를 고정 속도의 관측-행동 시퀀스로 변환하며, 물리적 시간은 시퀀스 상의 위치에 암묵적으로 담긴다. 이러한 가정은 관측 속도나 지연이 변동하거나 추론(inference) 지연 시간이 달라질 때 깨진다. 우리는 관측 포착 시각과 원하는 행동 실행 시각에 조건화하여 물리적 시간을 명시적으로 드러내는 크로노스 정책(Chronos Policy)을 제안한다. 우리는 시간을 디퓨전 트랜스포머(diffusion transformer)에 통합하는 두 가지 방법을 연구한다: 토큰(token) 특징에 타임스탬프 임베딩(embedding)을 추가하는 방법, 그리고 시간 인지 로터리 위치 인코딩(time-aware rotary positional encoding, time-aware RoPE)을 통해 위치 인코딩에 물리적 시간을 인코딩하는 방법이다. 우리는 시간 인지 RoPE가 더 견고하며, 토큰 내용은 그대로 유지하면서 어텐션(attention)이 물리적 시간에 직접 의존하도록 한다는 것을 발견했다. 학습 중에는 어떤 관측이 샘플링되는지와 행동 청크(action chunk)가 시작되는 시점을 시간적으로 무작위화하여, 배포(deployment) 중에 발생할 수 있는 더 넓은 범위의 센싱 및 실행 일정에 정책이 노출되도록 한다. 이는 또한 모든 측정값을 고정된 시간 그리드에 강제로 맞추지 않고도 비동기적이고 다중 속도(multi-rate)의 데이터로부터 학습할 수 있게 한다. 시뮬레이션과 실제 환경 실험 전반에서, 크로노스 정책은 관측-행동 타이밍이 중요한 동적(dynamic) 작업과 관측 간 상대적 타이밍이 중요한 다중 감각(multisensory) 작업에서 성능을 향상시킨다. 표준적인 준정적(quasi-static) 작업에서는 명목 성능을 유지하면서 센싱 및 추론 타이밍 변화에 대한 견고성을 향상시킨다.
LM-X: 진행도, 이벤트 및 불확실성 예측을 통한 설명 가능한 비전-언어-행동 모델링
LM-X: Explainable Vision--Language--Action Modeling via Progress, Event, and Uncertainty Prediction
대규모 비전-언어-행동(VLA, Vision-Language-Action) 정책은 범용 로봇 제어를 발전시켰으나, 대부분은 자극-행동 간 블랙박스로 남아 있습니다. 즉 행동은 표출되지만 그 설명적 상태는 드러나지 않습니다. 이들은 작업 진행도, 다음 의미적 전이(semantic transition), 국소 명령 신뢰도라는 세 가지 설명 신호를 본질적으로 제공하지 못합니다. 선행 연구는 진행도와 이벤트 구조가 장기 과제 제어(long-horizon control)에 도움을 주고 불확실성이 모니터링을 지원함을 보여주지만, 이러한 기능들은 일반적으로 행동 사전학습(pre-training) 이후에야 추가되거나 추출됩니다. 따라서 학계에는 설명적 상태가 제어와 함께 공동 사전학습되는 VLA 파운데이션 모델이 부재한 상황입니다. 결과 민감적이고 이벤트 분절적이며 확률론적인 예측이 행동을 구조화하는 생물학적 감각운동 체계에 착안하여, 본 연구는 LM-X를 제안합니다. LM-X는 직접 지도 학습되는 세 가지 온라인 신호를 학습합니다. 잔여 보상(RTG, Return-To-Go)은 가시적 진행도와 상태 품질을 추정하고, 잔여 이벤트(ETG, Event-To-Go)는 다음 의미적 이벤트까지의 행동 시퀀스를 예측하며, 이분산 행동 흐름 분산(heteroscedastic action-flow variance)은 국소 명령 신뢰도를 보고합니다. RTG는 ETG의 조건으로 작용하고 둘 모두 행동 생성의 조건이 되며, 불확실성은 행동 전문가 내부에서 추정되어 사후 설명이 아닌 제어의 일부로서 설명이 이루어집니다. 본 연구는 실패한 1,000시간 이상의 롤아웃을 포함해 20,000시간 이상의 이종 실제 로봇 궤적을 대상으로 LM-X를 사전학습했습니다. LM-X는 무작위 고난도 RoboTwin2.0 과제 50개에서 74.1%, 실제 로봇 과제 7개에서 73.5%의 성공률을 달성하여, 각각 55.4%와 50.7%를 기록한 GR00T N1.7을 앞섰습니다. 본 모델의 신호는 진행과 퇴행을 추적하고, 이벤트 단위의 움직임을 예측하며, 높은 오차의 행동을 감지하고, 실패를 사전에 경고합니다. 이러한 결과는 LM-X가 투명한 예측 상태를 더욱 강력한 범용 제어와 결합한 설명 가능한 VLA 파운데이션 모델임을 입증합니다. Github: https://github.com/loongOpen/LoongWu-LM-X-VLA
토론
이 논문과 연결된 포럼 글이 아직 없습니다.