PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02021v1cs.CV

2D VLM을 활용한 태스크 적응형 그라운디드 3D 프로그래머

Task-Adaptive Grounded 3D-Programmers Using 2D VLMs

최근 비전-언어 모델(VLM)은 뛰어난 일반화 및 추론 능력을 보여주고 있으나, 이러한 모델에서의 3D 이해는 데이터 규모, 학습(training) 다양성, 추론 역량에 의해 한계를 보입니다. 본 연구에서는 이러한 모델을 단순하게 3D로 확장하는 대신 다른 접근 방식을 취합니다. 즉, 표준 좌표 프레이밍(Canonical Coordinate Framing, CCF)과 태스크 적응형 피드백(Task-Adaptive Feedback, TAF)이라는 두 가지 새로운 개념과 함께 3D 그라운딩(grounding) 및 반복적 피드백 루프를 도입하여 강력한 2D VLM이 3D 환경에서 안정적으로 작동하도록 지원합니다. CCF는 입력과 출력을 모두 공유된 유클리드 좌표계에 고정하는 통합 시각적 표현 역할을 수행하여 축 모호성, 불일치하는 미터법 스케일, 부동 기준점과 같은 3D 그라운딩의 일반적인 문제를 해결합니다. 3D 입력의 구조화된 프레이밍을 보완하는 TAF는 태스크 적응형 동적 피드백으로 추론 루프를 완성하여, 2D VLM이 고유한 시각적 문맥 내에서 다양한 개방형 어휘(open-vocabulary) 태스크를 수행할 수 있도록 합니다. 이러한 기반 위에서, 우리는 강력한 VLM과 함께 CCF 및 TAF의 역량을 결합하여 활용하는 3D 이해, 추론 및 생성 프레임워크인 3D-Prog를 소개합니다. 3D-Prog는 어떠한 재학습 없이도 객체 수준 및 장면 수준 태스크 전반에 걸쳐 개방형 어휘 3D 이해, 조작 및 생성을 수행합니다. 실험 결과는 CCF와 TAF의 결합 활용이 2D VLM을 기하학 인지 3D 프로그래머로 변환시켜 다양한 3D 태스크 전반에서 일관되고 해석 가능하며 고품질의 결과를 달성함을 보여줍니다.

arXiv:2607.05493v1cs.CV

Ground3D-LMM: LMM을 활용한 세밀한 3D 포인트 그라운딩 및 공간 추론

Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM

포인트 클라우드와 자연어 질의를 받아 명시적 3D 세그멘테이션 마스크와 실세계 단위의 계측값을 동시에 출력하는 통합 대규모 멀티모달 모델(LMM) Ground3D-LMM을 제안하며, 객체·파트 수준의 그라운딩과 계측 추론을 단일 대화형 인터페이스에서 지원한다. ScanNet 및 ScanNet++ 기반으로 약 250만 개의 질의응답 쌍을 포함하는 대규모 데이터셋과 3D Grounded Measurement 태스크를 새롭게 정의하고, 다양한 벤치마크 실험에서 강력한 기준선 성능을 보였다.