3D-PLOT-LLM: 3D 대규모 언어 모델을 위한 부분 수준 객체 토큰
3D-PLOT-LLM: Part-Level Object Tokens for 3D Large Language Models
3D 멀티모달 대규모 언어 모델(3D MLLM)은 3D 물체를 전체로서 기술하지만, 그 부분을 지목하거나 명명하거나 이에 대해 추론하지는 못한다. 기존의 부분 인식 시도들은 분할 디코더, 더 무거운 3D 인코더, 또는 바운딩 박스 문법을 상당한 파라미터 비용으로 추가한다. 본 연구는 근본적으로 다른 길을 택한다. 즉, 입력 토큰 스트림을 재구성하여 LLM 자체의 어휘를 통해 부분을 직접 지칭할 수 있도록 한다. 제안하는 모델 3D-PLOT-LLM은 고정된 포인트 인코더의 패치를 K개의 국소적으로 일관된 영역으로 분할하고, 각 영역의 패치 토큰 앞에 학습 가능한 영역별 마커와 예약된 어휘 토큰 <part_k>를 삽입한다. 이후 Marker-Space Refinement(MSR) 모듈이 각 마커를 해당 영역의 공간 통계와 인접 이웃에 조건화한다. 따라서 모델은 출력에서 부분을 인용하고 토큰으로 부분을 지칭하는 프롬프트를 따를 수 있으며, 이는 기존의 물체 수준 3D MLLM에는 없던 능력이다. 이 인터페이스를 검증하기 위해 PartVerse 메시 주석을 변형하여 어휘 수준의 부분 질의응답 벤치마크인 PartVerse-QA를 구축하였다(서로 분리된 물체 분할에서 학습 쌍 77K개와 보류된 질의 588개). 이 벤치마크에서 3D-PLOT-LLM은 caption-to-slots Jaccard 0.459와 Exact-match 13.78%, slot-to-caption GPT-4o 판정 44.68을 달성한다. 부분 인식 기반 설명 벤치마크인 3DCoMPaT-GrIn의 텍스트 설명 트랙에서 3D-PLOT-LLM은 보고된 모든 텍스트 지표에서 PointLLM, Kestrel, PARIS3D, SegPoint를 능가하고, 4개 중 3개 지표에서 ShapeLLM을 능가하며, PointLLM 대비 GPT-4o 판정에서 최대 +3.03을 얻는다. Objaverse 전체 물체 캡셔닝에서는 Stage 2에 PartVerse-QA를 추가하면 PointLLM 대비 SBERT +0.65, GPT-4o +1.85를 얻으며, 부분 기반 목적 함수에도 불구하고 5개 전통적 지표 중 4개에서 PointLLM-PiSA를 앞선다. 이 모든 결과는 고정된 포인트 인코더 위에 새로 학습되는 파라미터가 100만 개 미만인 상태에서 달성되었으며, 이는 기존 부분 인식 3D MLLM보다 한 자릿수 작은 규모이고, 학습된 부분 검출기, 분할 디코더, 바운딩 박스 헤드도 사용하지 않는다.