Geometry of 3D Environments and Sum of Squares Polynomials
원문 초록
Motivated by applications in robotics and computer vision, we study problems related to spatial reasoning of a 3D environment using sublevel sets of polynomials. These include: tightly containing a cloud of points (e.g., representing an obstacle) with convex or nearly-convex basic semialgebraic sets, computation of Euclidean distances between two such sets, separation of two convex basic semalgebraic sets that overlap, and tight containment of the union of several basic semialgebraic sets with a single convex one. We use algebraic techniques from sum of squares optimization that reduce all these tasks to semidefinite programs of small size and present numerical experiments in realistic scenarios.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Warehouse Spatial Question Answering with LLM Agent
Scaling RL to Long Videos
저희는 강화학습을 활용하여 비전-언어 모델(VLM)의 추론 능력을 장시간 영상으로 확장하는 풀스택 프레임워크를 제안합니다. 장시간 영상 추론의 고유한 과제를 해결하기 위해 세 가지 핵심 요소를 통합하였습니다: (1) 스포츠, 게임, 브이로그 등 다양한 도메인에 걸쳐 고품질 추론 주석이 포함된 52,000개의 장시간 영상 QA 쌍으로 구성된 대규모 데이터셋 LongVideo-Reason; (2) 사고의 연쇄 감독 미세조정(CoT-SFT)과 강화학습(RL)을 결합하여 VLM을 확장하는 2단계 학습 파이프라인; (3) 시퀀스 병렬 처리와 장시간 영상에 최적화된 vLLM 기반 엔진을 도입하고, 효율적인 롤아웃과 프리필링을 위해 캐시된 영상 임베딩을 활용하는 장시간 영상 RL 학습 인프라인 Multi-modal Reinforcement Sequence Parallelism(MR-SP). 실험에서 LongVILA-R1-7B는 VideoMME와 같은 장시간 영상 QA 벤치마크에서 우수한 성능을 보였으며, Video-R1-7B를 능가하고 LongVideo-Reason-eval 벤치마크의 시간적 추론, 목표 및 목적 추론, 공간 추론, 플롯 추론 영역에서 Gemini-1.5-Pro와 동등한 성능을 달성하였습니다. 특히, MR-SP 시스템은 장시간 영상 RL 학습에서 최대 2.1배의 속도 향상을 기록하였습니다. LongVILA-R1은 입력 영상 프레임 수가 증가함에 따라 일관된 성능 향상을 보여주며, VLM에서 장시간 영상 추론을 향한 확고한 진전을 나타냅니다. 또한, 저희는 다양한 모달리티(영상, 텍스트, 오디오), 다양한 모델(VILA 및 Qwen 시리즈), 심지어 이미지 및 영상 생성 모델에 대한 RL 학습을 지원하는 학습 시스템을 공개하였습니다. 단일 A100 노드(8 GPU)에서 시간 단위 영상(예: 3,600 프레임 / 약 256k 토큰)에 대한 RL 학습을 지원합니다.
OST-Bench: Evaluating the Capabilities of MLLMs in Online Spatio-temporal Scene Understanding
ImplicitQA: Going beyond frames towards Implicit Video Reasoning
3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation
Reinforcing Spatial Reasoning in Vision-Language Models with Interwoven Thinking and Visual Drawing
토론
이 논문과 연결된 포럼 글이 아직 없습니다.