arXiv:2511.21542v3 cs.RO

E0: Tweedie 이산 확산을 통한 시각-언어-행동 모델의 표현력 있는 세밀한 이산 행동 예측

E0: Expressive Fine-Grained Discrete Action Prediction for Vision-Language-Action Models via Tweedie Discrete Diffusion

Zhihao Zhan, Jiaying Zhou, Likui Zhang, Qinhan Lyu, Hao Liu, Weizheng Li, Jusheng Zhang, Ziliang Chen, Tianshui Chen, Ruifeng Zhai, Keze Wang, Liang Lin, Guangrun Wang

제출 2026-11-16

한국어 초록

시각-언어-행동(VLA) 모델은 시각 인식, 언어 이해, 제어 생성을 통합하여 로봇 조작을 위한 통합 프레임워크를 제공한다. 그러나 기존 VLA 시스템은 다양한 과제, 장면, 카메라 시점에 걸쳐 일반화하는 데 여전히 어려움을 겪으며 거칠거나 불안정한 행동을 생성하는 경우가 많다. 우리는 이러한 한계가 VLA 환경에서 행동이 지니는 구조적 특성, 즉 행동 분포의 본질적인 다봉성, 사전 학습된 VLM/VLA 백본의 토큰 기반 기호적 추론, 그리고 실제 로봇 제어가 부과하는 유효한 유한 해상도와 밀접하게 관련되어 있다고 주장한다. 이러한 특성에 착안하여 우리는 행동 생성을 양자화된 행동 토큰에 대한 반복적 잡음 제거로 정식화하는 Tweedie 이산 확산 프레임워크 E0를 제안한다. E0는 원칙에 입각한 확산 과정으로 이산 행동 공간에서 동작함으로써 토큰 기반 추론과 자연스럽게 정렬되고, 세밀하면서도 실행 가능한 행동 제어를 지원하며, 마스킹 기반 이산 확산의 분포 불일치를 피한다. LIBERO, VLABench, ManiSkill 및 실제 Franka 로봇 팔에서의 실험은 E0가 다양한 환경에서 최고 수준의 성능을 달성하며 강력한 베이스라인을 평균 8.1% 앞섬을 보여 준다.

원문 초록

Vision-Language-Action (VLA) models offer a unified framework for robotic manipulation by integrating visual perception, language understanding, and control generation. However, existing VLA systems still struggle to generalize across diverse tasks, scenes, and camera viewpoints, and often produce coarse or unstable actions. We argue that these limitations are closely tied to the structural properties of actions in VLA settings, including the inherent multi-peaked nature of action distributions, the token-based symbolic reasoning of pretrained VLM/VLA backbones, and the effective finite resolution imposed by real-world robotic control. Motivated by these properties, we introduce E0, a tweedie discrete diffusion framework that formulates action generation as iterative denoising over quantized action tokens. By operating in a discrete action space with a principled diffusion process, E0 naturally aligns with token-based reasoning, supports fine-grained yet executable action control, and avoids the distributional mismatch of masking-based discrete diffusion. Experiments on LIBERO, VLABench, ManiSkill, and a real-world Franka arm demonstrate that E0 achieves state-of-the-art performance across diverse environments, outperforming strong baselines by 8.1% on average.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.21542v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.