arXiv:2608.29285v1 cs.CV

3D-MRL: Matryoshka 표현 학습을 통한 중첩 다중모달 3D 표현

3D-MRL: Nested Multimodal 3D Representations via Matryoshka Representation Learning

Márcus Lobo, Vitor Matias, Jeová Farias, Moacir Ponti

제출 2026-08-29

한국어 초록

비전-언어 모델은 포인트 클라우드를 이미지 및 텍스트 임베딩과 정렬하여, 3D 형상에 대한 제로샷 인식, 검색, 오픈 어휘(open-vocabulary) 이해를 가능하게 한다. 기존 다중모달 3D 사전학습 방법은 고정 차원의 임베딩을 생성하므로, 계산 예산이 다를 때마다 별도의 모델이 필요하다. 우리는 Matryoshka Representation Learning에 기반한 다중모달 3D 사전학습 프레임워크인 3D Matryoshka Representation Learning(3D-MRL)을 제안한다. 3D-MRL은 포인트 클라우드를 고정(frozen) CLIP 이미지 및 텍스트 임베딩과 정렬하고, 여러 임베딩 차원에 걸쳐 대조(contrastive) 지도를 적용함으로써 중첩된 3D 표현을 학습한다. Matryoshka 목적 함수는 3D 인코더에만 적용되어, 재학습 없이 단일 모델이 서로 다른 차원의 표현을 생성할 수 있다. Objaverse-LVIS, ModelNet40, ScanNet 데이터셋에서의 실험 결과, 3D-MRL은 제로샷 및 퓨샷 3D 인식 과제에서 경쟁력 있는 성능을 달성한다. 또한 학습된 표현은 단일 모델 내에서 서로 다른 임베딩 차원 간 검색을 지원한다. Objaverse-LVIS에서 3D-MRL은 Top-1 정확도를 46.8%에서 50.9%로 향상시킨다. 검색 실험은 further로, 임베딩 차원에 따라 의미적·기하학적 특이성(specificity)의 수준이 달라짐을 보여준다.

원문 초록

Vision-Language Models align point clouds with image and text embeddings, enabling zero-shot recognition, retrieval, and open-vocabulary understanding of 3D shapes. Existing multimodal 3D pre-training methods produce fixed-dimensional embeddings, requiring separate models for different computational budgets. We propose 3D Matryoshka Representation Learning (3D-MRL), a multimodal 3D pre-training framework based on Matryoshka Representation Learning. 3D-MRL learns nested 3D representations by aligning point clouds with frozen CLIP image and text embeddings while applying contrastive supervision across multiple embedding dimensions. The Matryoshka objective is applied only to the 3D encoder, allowing a single model to produce representations at different dimensionalities without retraining. Experiments on the Objaverse-LVIS, ModelNet40, and ScanNet datasets show that 3D-MRL achieves competitive performance on zero-shot and few-shot 3D recognition tasks. In addition, the learned representations support retrieval across different embedding dimensions within a single model. On Objaverse-LVIS, 3D-MRL improves Top-1 accuracy from 46.8% to 50.9%. Retrieval experiments further show that different embedding dimensions yield varying levels of semantic and geometric specificity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.29285v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.