ViewMind3D: 학습이 필요 없는 3D-QA를 위한 모듈형 뷰 인식 추론
ViewMind3D: Modular View-Aware Inference for Training-Free 3D-QA
한국어 초록
대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 최근 발전은 체화된 AI(embodied AI) 및 로봇 인식의 핵심 역량인 3차원 질의응답(3D-QA)에 새로운 가능성을 열었습니다. 그러나 기존 방식 대부분은 비용이 많이 드는 주석을 활용한 3D 전용 학습(training)이나 미세조정(fine-tuning)에 의존하여 확장성과 실제 환경 적용성이 제한됩니다. 본 논문에서는 완전한 3D 재구성 없이도 장면에 대한 다중 뷰 관측을 통해 3차원 공간 추론을 수행하는, 완전한 비학습 기반(training-free) 모듈형 프레임워크인 ViewMind3D를 제안합니다. 이 프레임워크는 3D-QA 태스크를 네 가지 해석 가능한 구성 요소로 분해합니다: (1) 질문 기반 다중 뷰 선택, (2) 언어 조건부 객체 단서를 활용한 유도된 시각적 그라운딩(visual grounding), (3) 조감도(BEV) 시점 지표를 통한 공간적 문맥 인코딩, (4) 역할 기반 추론(inference)을 통한 구조화된 답변 생성. 이러한 설계를 통해 모델 튜닝 없이도 구조화되고 강건하며 해석 가능한 추론이 가능해집니다. ScanQA 및 SQA3D에 대한 실험 결과, ViewMind3D는 기존 비학습 기반 모델 및 미세조정된 3D-LLM과 비교해 경쟁력 있는 성능을 달성함을 보여줍니다. 특히 본 제안 방법은 높은 전체 정확도(50.8%)를 유지하고 ScanQA에서 73.4 CIDEr를 달성하면서, SQA3D의 'What' 질문과 같이 공간적으로 그라운딩된 질문 유형에서 성능을 향상시킵니다. 이러한 결과는 범용 LLM과 VLM의 모듈형 오케스트레이션을 통해 실제 환경에서의 로봇 인식을 위한 효과적인 3D 추론을 달성할 수 있음을 입증합니다.
원문 초록
Recent advances in large language models (LLMs) and vision-language models (VLMs) have enabled new possibilities for 3D question answering (3D-QA), a key capability for embodied AI and robotic perception. However, most existing methods rely on 3D-specific training or fine-tuning with costly annotations, limiting their scalability and real-world applicability. We present \textbf{ViewMind3D}, a fully training-free and modular framework for 3D spatial reasoning over multi-view observations of a scene without requiring complete 3D reconstruction. The framework decomposes the 3D-QA task into four interpretable components: (1) question-driven multi-view selection, (2) guided visual grounding with language-conditioned object cues, (3) spatial context encoding via a bird's-eye-view (BEV) viewpoint indicator, and (4) structured answer generation through role-based reasoning. This design enables structured, robust, and interpretable reasoning without requiring model tuning. Experimental results on ScanQA and SQA3D show that ViewMind3D achieves competitive performance compared to prior training-free and fine-tuned 3D-LLMs. In particular, our method improves performance on spatially grounded question types, such as ``What'' questions in SQA3D, while maintaining strong overall accuracy (50.8\%) and achieving 73.4 CIDEr on ScanQA. These results demonstrate that effective 3D reasoning can be achieved through modular orchestration of general-purpose LLMs and VLMs for robotic perception in real-world environments.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.28442v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.