arXiv:2012.13693

Spatial Reasoning from Natural Language Instructions for Robot Manipulation

Sagar Gubbi Venkatesh, Anirban Biswas, Raviteja Upadrashta, Vikram Srinivasan, Partha Talukdar, Bharadwaj Amrutur

제출 2020-12-26

원문 초록

Robots that can manipulate objects in unstructured environments and collaborate with humans can benefit immensely by understanding natural language. We propose a pipelined architecture of two stages to perform spatial reasoning on the text input. All the objects in the scene are first localized, and then the instruction for the robot in natural language and the localized co-ordinates are mapped to the start and end co-ordinates corresponding to the locations where the robot must pick up and place the object respectively. We show that representing the localized objects by quantizing their positions to a binary grid is preferable to representing them as a list of 2D co-ordinates. We also show that attention improves generalization and can overcome biases in the dataset. The proposed method is used to pick-and-place playing cards using a robot arm.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2507.07966cs.CV공통 태그 Spatial Reasoning공식 코드 · Papers with Code

Scaling RL to Long Videos

저희는 강화학습을 활용하여 비전-언어 모델(VLM)의 추론 능력을 장시간 영상으로 확장하는 풀스택 프레임워크를 제안합니다. 장시간 영상 추론의 고유한 과제를 해결하기 위해 세 가지 핵심 요소를 통합하였습니다: (1) 스포츠, 게임, 브이로그 등 다양한 도메인에 걸쳐 고품질 추론 주석이 포함된 52,000개의 장시간 영상 QA 쌍으로 구성된 대규모 데이터셋 LongVideo-Reason; (2) 사고의 연쇄 감독 미세조정(CoT-SFT)과 강화학습(RL)을 결합하여 VLM을 확장하는 2단계 학습 파이프라인; (3) 시퀀스 병렬 처리와 장시간 영상에 최적화된 vLLM 기반 엔진을 도입하고, 효율적인 롤아웃과 프리필링을 위해 캐시된 영상 임베딩을 활용하는 장시간 영상 RL 학습 인프라인 Multi-modal Reinforcement Sequence Parallelism(MR-SP). 실험에서 LongVILA-R1-7B는 VideoMME와 같은 장시간 영상 QA 벤치마크에서 우수한 성능을 보였으며, Video-R1-7B를 능가하고 LongVideo-Reason-eval 벤치마크의 시간적 추론, 목표 및 목적 추론, 공간 추론, 플롯 추론 영역에서 Gemini-1.5-Pro와 동등한 성능을 달성하였습니다. 특히, MR-SP 시스템은 장시간 영상 RL 학습에서 최대 2.1배의 속도 향상을 기록하였습니다. LongVILA-R1은 입력 영상 프레임 수가 증가함에 따라 일관된 성능 향상을 보여주며, VLM에서 장시간 영상 추론을 향한 확고한 진전을 나타냅니다. 또한, 저희는 다양한 모달리티(영상, 텍스트, 오디오), 다양한 모델(VILA 및 Qwen 시리즈), 심지어 이미지 및 영상 생성 모델에 대한 RL 학습을 지원하는 학습 시스템을 공개하였습니다. 단일 A100 노드(8 GPU)에서 시간 단위 영상(예: 3,600 프레임 / 약 256k 토큰)에 대한 RL 학습을 지원합니다.

arXiv:2507.04447cs.CV공통 태그 Robot Manipulation공식 코드 · Papers with Code

DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.