Grasp Diffusion Network: Learning Grasp Generators from Partial Point Clouds with Diffusion Models in SO(3)xR3
원문 초록
Grasping objects successfully from a single-view camera is crucial in many robot manipulation tasks. An approach to solve this problem is to leverage simulation to create large datasets of pairs of objects and grasp poses, and then learn a conditional generative model that can be prompted quickly during deployment. However, the grasp pose data is highly multimodal since there are several ways to grasp an object. Hence, in this work, we learn a grasp generative model with diffusion models to sample candidate grasp poses given a partial point cloud of an object. A novel aspect of our method is to consider diffusion in the manifold space of rotations and to propose a collision-avoidance cost guidance to improve the grasp success rate during inference. To accelerate grasp sampling we use recent techniques from the diffusion literature to achieve faster inference times. We show in simulation and real-world experiments that our approach can grasp several objects from raw depth images with $90\%$ success rate and benchmark it against several baselines.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SplatCtrl: 가우시안 장면 표현과 반응형 로봇 제어를 통한 인지-행동 결합
SplatCtrl: Perception-Action Coupling via Gaussian Scene Representations and Reactive Robot Control
로봇 매니퓰레이터는 구조화된 환경에서 뛰어난 성능을 발휘하지만, 비구조적이고 동적인 환경에서는 상당한 어려움에 직면한다. 본 논문은 기존에 경험하지 못한 환경과 지속적으로 변화하는 환경에서 충돌 없는 로봇 팔 제어를 가능하게 하는 실시간 장면 재구성 및 반응형 로봇 동작 생성을 위한 통합 프레임워크인 SplatCtrl을 제안한다. 3D 가우시안 스플래팅(3D-GS)을 기반으로, RGB-D 스트림으로부터의 효율적인 장면 재구성을 지원하면서 환경 변화를 수용하는 하이브리드 복셀 기반 필터링 및 동적 가우시안 재배치 전략을 도입한다. 안전하고 반응적인 제어를 위해, 등방성 가우시안으로부터 연속적인 부호 있는 거리 함수(signed distance function)를 유도하는 방법을 추가로 제안하며, 이는 고전적인 거리 필드와 현대적인 암묵적 표현을 연결하는 안정적이고 미분 가능한 충돌 확률 추정값을 제공한다. 이러한 연속적인 거리 메트릭은 제어 배리어 함수(control barrier function)에 통합되어, 장면 변화에 대응하는 부드럽고 신뢰할 수 있는 실시간 동작 생성을 지원하는 통합 인지-행동 결합 프레임워크를 구성한다. 시뮬레이션, 실제 로봇, 그리고 인간-로봇 공유 작업 공간에서의 실험적 검증을 통해 프레임워크의 효과성을 입증하며, 불확실하고 동적인 환경에서 통합된 장면 재구성과 반응형 제어를 달성함을 보인다.
DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge
최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.
ECAM: A Contrastive Learning Approach to Avoid Environmental Collision in Trajectory Forecasting
3DFlowAction: Learning Cross-Embodiment Manipulation from 3D Flow World Model
RLVR-World: Training World Models with Reinforcement Learning
Mini Diffuser: Fast Multi-task Diffusion Policy Training Using Two-level Mini-batches
토론
이 논문과 연결된 포럼 글이 아직 없습니다.