arXiv:2606.17446v1 cs.RO

AnnotateAnything: 로봇 조작을 위한 3D 자산의 자동 주석

AnnotateAnything: Automatic Annotation of 3D Assets for Robot Manipulation

Haoran Lu, Mutian Shen, Shuyang Yu, Yu Xiao, Songling Liu, Jianshu Zhang, Shang Wu, Yue Chen, Guo Ye, Jiayi Wang, Zhaoran Wang, Han Liu

제출 2026-06-16

한국어 초록

시뮬레이션은 확장 가능한 로봇 데이터 수집을 가능하게 하지만, 원본 3D 자산은 기하학적 정보만 제공하며 로봇이 어디서 어떻게 행동해야 하는지를 지정하는 데 필요한 의미론적, 상호작용, 물리적 지식이 부족합니다. 이 연구에서 우리는 AnnotateAnything을 소개합니다. 이는 수동적인 3D 자산을 구조화되고 다양하며 실행 가능한 조작 라벨을 갖춘 조작 가능한 자산으로 변환하는 범용 자동 주석 프레임워크입니다. AnnotateAnything은 두 가지 상호 보완적인 파이프라인을 중심으로 구축되었습니다. 첫째, 비전-언어 추론을 사용하여 객체 의미, 상호작용 제약 조건, 3D 기반 단서를 추론하는 통합 비전-언어 주석 파이프라인으로, 의미 있는 상호작용 영역을 식별하기 위한 인간 선행 지식 가이드를 제공합니다. 둘째, 완전 자동이고 대규모 병렬인 물리 주석 파이프라인은 후보 생성, 기하학 최적화 및 궤적 생성을 통해 각 자산의 기하학 및 물리적 제약 조건에 이러한 선행 지식을 반영하여 구체화합니다. 이 파이프라인은 그립 자세, 민첩한 접촉, 관절 웨이포인트, 삽입 방향, 걸이 어포던스, 내비게이션 목표를 포함한 다양하고 실행 가능한 행동 주석을 생성합니다. 생성된 주석을 사용하여, 우리는 다양한 객체, 작업 및 로봇 구현체에 걸친 비동기 병렬 시뮬레이션 데이터 수집 시스템을 추가로 구축했습니다. 실험 결과 AnnotateAnything은 기존 주석 및 데이터 생성 파이프라인 대비 우수한 주석 효율성, 데이터 수집 효율성 및 작업 성공률을 달성하며, 어포던스 감지, 로봇 VQA, 비주얼 인스트럭션 파인튜닝과 같은 다운스트림 작업도 지원함을 보여줍니다. 우리는 프로젝트 페이지에 프로젝트 자료를 제공하며, 향후 연구를 촉진하기 위해 전체 코드, 주석 및 벤치마크를 공개할 계획입니다. 비디오, 코드, 데모 자산 및 주석은 보충 자료에 제공됩니다. 프로젝트 페이지: https://tourmaline-caramel-169490.netlify.app.

원문 초록

Simulation enables scalable robot data collection, but raw 3D assets provide only geometry, lacking the semantic, interactive, and physical knowledge needed to specify where and how robots should act. In this work, we present AnnotateAnything, a general automatic annotation framework that converts passive 3D assets into manipulation-ready assets with structured, diverse, and executable manipulation labels. AnnotateAnything is built around two complementary pipelines. First, a unified visual-language annotation pipeline using vision-language reasoning to infer object semantics, interaction constraints, and 3D-grounded cues, providing human-prior guidance for identifying meaningful interaction regions. Second, a fully automatic and massively parallel physics annotation pipeline grounds these priors in each asset's geometry and physical constraints through candidate generation, geometry optimization and trajectory generation. This pipeline produces diverse and executable action annotations, including grasp poses, dexterous contacts, articulation waypoints, insertion directions, hanging affordances, and navigation targets. Using the generated annotations, we further build an asynchronous parallel simulation data-collection system across diverse objects, tasks, and robot embodiments. Experiments demonstrate that AnnotateAnything achieves superior annotation efficiency, data-collection efficiency, and task success rates over existing annotation and data-generation pipelines, while also supporting downstream tasks such as affordance detection, robotic VQA, and visual instruction finetuning. We provide project materials on the project page and plan to release the full code, annotations, and benchmark to facilitate future research. Videos, code, demo assets, and annotations are provided in supplementary materials Project page: https://tourmaline-caramel-169490.netlify.app.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17446v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00981v1cs.RO공통 태그 Imitation Learning, Instruction Following, Robot Manipulation

NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델

NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields

본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.

arXiv:2609.13984v2cs.RO공통 태그 Imitation Learning, Instruction Following, Robot Manipulation

효율적인 VLA를 만드는 요소는 무엇인가? 액션 헤드 설계, 스케일링, 지연시간

What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency

비전-언어-행동(VLA) 모델은 사전학습된 비전 인코더, 언어 백본, 액션 헤드를 결합하지만, 통제된 지연시간-쌍(latency-paired) 조건에서 각 구성 요소의 상대적 기여는 확립되지 않았다. 우리는 백본 계열(SigLIP2 및 Qwen2.5)과 학습 파이프라인을 고정하고, 액션 헤드 설계와 모듈 규모를 sweep하며, 각 구성을 측정된 온디바이스 지연시간과 짝짓는다. 연구는 세 가지 발견을 낳는다. 첫째, 액션 헤드 성능은 디코더 아키텍처, 손실, 또는 추론 예산보다 주로 초기화에 의해 좌우된다. 언어 백본의 마지막 트랜스포머 레이어를 헤드로 복사하는 것이 지연시간 비용 없이 단일 최대 레버이며, 모든 모듈 규모에서 도움이 되는 유일한 축이다. 정렬(alignment) 또한 다른 축들을 설명한다. flow matching과 더 무거운 디코더는 헤드가 정렬되지 않았을 때만 이득이 있고 정렬되면 역전되며, 추가 추론 패스는 측정 가능한 이득을 주지 않는다. 표현력(expressiveness)은 부족한 정렬을 대체하는 것으로 보인다. 우리는 이를 표현 전환(representation transfer)으로 해석한다. 정렬된 헤드는 지시문의 객체 명사에 계속 어텐션(attention)하고, 처음부터 행동을 재학습하기보다 가중치 공간에서 백본에 가깝게 유지된다. 정렬에 초기화를 통해서만 도달하기 때문에, 우리는 이를 입증된 원인이 아니라 측정값을 가장 잘 정리하는 설명으로 제시하고, 이를 확정할 통제 실험을 명명한다. 둘째, 용량(capacity)은 정렬 이후에만 효과가 있다. 정렬된 액션 헤드는 스케일링할 때 수익률이 가장 높은 모듈이다. 셋째, 그 수익은 오늘날 $\pi$-계열 VLA가 이미 사용하는 규모 근처에서 급격히 감소하므로, 더 키우는 것은 그 지연시간 대비 in-domain 정확도에서 거의 이득을 주지 않는다. 이를 바탕으로 EffVLA를 제안한다. EffVLA는 표준 LIBERO에서 최강 오픈소스 VLA와 맞먹는 소형 모델로, 더 낮은 지연시간으로 LIBERO-Plus 교란(perturbation) 축 대부분에서 선두이며, 레시피를 바꾸지 않고 실제 SO-ARM101 암에 전이된다.

arXiv:2609.24274v1cs.RO공통 태그 Imitation Learning, Instruction Following, Robot Manipulation

vla.simd: 언어 조건부 조작을 위한 효율적인 CPU 추론

vla.simd: Efficient CPU Inference for Language-Conditioned Manipulation

전용 GPU 없이 언어 조건부 조작을 배포하려면 효율적인 추론과 정책 쿼리 간 지연을 메워주는 액션 청크(action chunk)가 필요합니다. 본 논문에서는 공유 SIMD 마이크로 커널, 재사용 가능한 연산, 타깃 맞춤형 최적화를 결합한 CPU 추론 엔진인 vla.simd를 소개합니다. 지연(lagged) 및 시간 정렬(time-aligned) 실행 환경에서 쿼리 지연 시간과 실행 구간(execution horizon)을 액션 가용성과 연계하여 액션 공급과 피드백 빈도를 구분합니다. 6개 정책과 4개 CPU 전반에서, vla.simd는 fp32 수치적 충실도를 유지하면서 컴파일된 PyTorch 레퍼런스 대비 중앙값 기준 약 1.4배의 속도 향상을 달성합니다. 또한 캐시된 텍스트 표현과 언어 변조된 시각적 특징을 활용하는 ACT 기반 정책인 IMPACT를 소개합니다. IMPACT는 평가된 세트 중 라즈베리 파이 5(Raspberry Pi 5)에서 최소 30 actions/s를 공급하는 유일한 언어 조건부 정책으로, 90초간 열 포화(thermal soak) 후 fp32에서 33.5 actions/s, int8에서 81.2 actions/s를 공급합니다. 별도의 GPU 평가에서는 로봇 사전학습 없이 4개의 LIBERO 제품군 전반에서 76.4%의 평균 성공률을 기록했으며, 인스트럭션 셔플링(instruction-shuffling) 테스트를 통해 익숙한 목표 중 선택이 가능함을 보였습니다. SO-101 로봇 팔을 활용한 IMPACT 실험 및 Robotiq 그리퍼가 장착된 UR10e 환경에서의 SmolVLA 실험을 통해 두 가지 로봇 임바디먼트(embodiment)에서의 CPU 배포를 입증합니다.

arXiv:2609.22854v1cs.RO공통 태그 Imitation Learning, Instruction Following, Robot Manipulation

SmoLSTM: 지속되는 순환 메모리를 갖춘 소형 비전-언어-행동 모델

SmoLSTM: A Compact Vision-Language-Action Model with Recurrent Memory that Persists

비전-언어-행동(Vision-Language-Action, VLA) 모델은 현재의 관측만을 바탕으로 행동을 예측하는 경우가 많아, 에피소드 이력이 없으면 객체 가림(occlusion)이나 시각적으로 동일한 객체가 포함된 작업에서 모호함이 발생할 수 있습니다. 관측 윈도우를 넓히는 일반적인 대응책은 시계(horizon)를 하이퍼파라미터로 만들며 이에 따라 스텝당 비용이 증가하게 합니다. 본 연구에서는 대신 순환 상태(recurrent state)에 에피소드를 포착합니다. SmoLSTM은 동결된 256M 매개변수의 SmolVLM 백본을 행렬-메모리 LSTM 제어 층과 결합하며, 이 제어 층에서는 전체 에피소드 동안 전혀 리셋되지 않는 단일 인과적 스트림(causal stream) 내에 관측 토큰과 행동 쿼리가 통합됩니다. 따라서 순환 상태의 저장은 에피소드 길이에 대해 O(1) 복잡도를 가집니다. 흐름 정합(flow-matching) 행동 헤드는 각 제어 스텝에서 10개의 말단 장치(end-effector) 포즈 변화량과 그리퍼 명령 청크를 예측합니다. 140개 작업에 걸친 7,461개의 시연 데이터로 공동 학습되고 미확인 초기 상태에서 평가된 본 연구의 단일 정책은 0.04B의 학습 가능한 매개변수만으로 LIBERO-Mem에서 85.1%의 서브골 도달률과 77.5%의 전체 작업 성공률을 기록하며 최고의 성능을 달성하여, 벤치마크 자체의 객체 중심 기준선과 최근의 메모리 기반 접근법을 모두 능가했습니다. 매 제어 스텝마다 순환 상태를 리셋하면 전체 작업 성공률이 7.0%로 감소하여, 학습된 정책이 의사결정 간에 전달되는 문맥에 의존함을 보여줍니다. 동일한 모델이 표준 LIBERO에서도 평균 79.6%의 성공률을 달성합니다.

arXiv:2609.24682v1cs.RO공통 태그 Imitation Learning, Instruction Following, Robot Manipulation

월드 모델처럼 생각하고 VLA처럼 행동하기: 월드 모델 표현을 소형 로봇 정책으로 증류하기

Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies

비전-언어-행동(VLA, Vision-Language-Action) 모델은 세상이 어떻게 반응하는지를 고려하는 목적 함수 없이 관측을 행동으로 매핑하므로, 이들의 견고성은 주로 데이터 커버리지에 의해 제한됩니다. 월드 모델은 바로 그 결여된 목적 함수를 지니고 있어 그 덕분에 더 우수한 그라운딩(grounding)을 갖추고 있지만, 미래를 시뮬레이션(rolling forward)하는 데 결정당 수 초가 걸려 제어 루프에서 배제됩니다. 우리는 이 둘을 분리할 수 있음을 보여줍니다. 물리적 장면에 대해 월드 모델이 알고 있는 것은 그것의 내부 특징(feature)에 존재하며, 미래를 생성하는 것은 단지 그 특징을 생성해 낸 목적 함수일 뿐이므로, 생성 메커니즘은 남겨둔 채 그라운딩만을 물려받을 수 있습니다. 우리는 일반적인 VLA 학습(training)에 특징 정렬(feature-alignment) 손실 항 하나를 추가합니다. 즉, 동결된 월드 모델을 학습 프레임에 대해 한 번 실행하여 캐시해 두고, 학생 모델은 해당 캐시와 일치하도록 학습합니다. 학습 중에는 교사 모델이 로드되지 않고, 프로젝터는 학습 후 폐기되며, 배포된 정책은 증류되지 않은 기준선(baseline)과 동일하여 소비자용 RTX 5090에서 32 ms 및 1.86 GB로 동작하므로, 모든 성능 향상은 추가된 용량이나 테스트 시점 연산(test-time compute)이 아닌 표현(representation) 덕분입니다. 0.8B 학생 모델은 LIBERO에서 97.9%를 달성하고, RoboCasa-GR1 휴머노이드 조작에서 48.2%에서 50.5%로 향상되었으며, 동일한 목적 함수가 단일 암 및 양팔 플랫폼 모두의 실제 하드웨어로 이어집니다. 이러한 성능 향상은 학생 모델 크기, 백본, 정렬 층(layer), 교사 모델의 변경에도 유지되어, 두 특정 네트워크 간의 취약한 정렬이 아닌 광범위한 표현 사전 확률(representational prior)임을 나타냅니다. 프로젝트 페이지: https://thaw-vla.trung-dt.com/.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning, Robot Manipulation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.