명시적 3D 언어로서의 옥트리
Octrees as an Explicit 3D Language
기존의 3D 대규모 언어 모델(LLM)은 두 가지 측면에서 타협합니다. 즉, 형상을 잠재 코드북 인덱스나 좌표 텍스트로 압축하여 모델이 관찰하는 대상에서 공간 구조를 제거하며, 백본을 미세조정(fine-tuning)하여 3D 모달리티를 획득함으로써 일반 언어 능력을 덮어씁니다. 본 논문에서는 두 한계를 모두 해결하는 OctLLM을 제시합니다. 기하학적 정보는 옥트리(octree) 점유 토큰의 명시적 3D 시퀀스로 입력됩니다. 그러나 전체 옥트리 시퀀스는 깊이에 따라 급격히 증가하므로, OctLLM은 형상을 보존하면서 끝에서 두 번째 레벨의 노드를 무작위로 비우고 하위 노드를 생략하여, 위치 인식 마스크 모델링 생성 및 3D 이해를 위한 좌표 및 깊이 기반의 더 짧은 희소 옥트리(Sparse Octree, S-Octree)를 생성합니다. 다른 한편으로, 기존 방법들은 완전 미세조정(full fine-tuning)이나 LoRA를 통해 새로운 모달리티를 도입하지만, 완전 미세조정은 비용이 많이 들고, LoRA는 3D 용량을 제한하며, 두 방식 모두 언어 경로를 수정합니다. 대신 OctLLM은 사전학습된 파라미터와 분리된 파라미터에 3D 용량을 추가합니다. 즉, 메시 토큰은 일부 블록의 독립적인 학습 가능 브랜치를 통해 라우팅되는 반면 텍스트 및 이미지 토큰은 고정된(frozen) 비전-언어 경로를 유지하고, 두 스트림은 공유된 셀프 어텐션(self-attention)을 통해 상호작용합니다. OctLLM은 완전 미세조정보다 훨씬 적은 파라미터를 학습하면서도 통합 멀티모달 LLM 중 새로운 최고 성능(state of the art)을 달성하여, ShapeLLM-Omni 대비 image-to-3D FID를 $17.4\%$ 낮추고 렌더링 기반 캡셔닝을 $28.7$점 향상시키는 동시에 일반 언어 벤치마크에서 백본 수준의 성능을 유지합니다.