비전-언어 모델은 포인트 클라우드를 이미지 및 텍스트 임베딩과 정렬하여, 3D 형상에 대한 제로샷 인식, 검색, 오픈 어휘(open-vocabulary) 이해를 가능하게 한다. 기존 다중모달 3D 사전학습 방법은 고정 차원의 임베딩을 생성하므로, 계산 예산이 다를 때마다 별도의 모델이 필요하다. 우리는 Matryoshka Representation Learning에 기반한 다중모달 3D 사전학습 프레임워크인 3D Matryoshka Representation Learning(3D-MRL)을 제안한다. 3D-MRL은 포인트 클라우드를 고정(frozen) CLIP 이미지 및 텍스트 임베딩과 정렬하고, 여러 임베딩 차원에 걸쳐 대조(contrastive) 지도를 적용함으로써 중첩된 3D 표현을 학습한다. Matryoshka 목적 함수는 3D 인코더에만 적용되어, 재학습 없이 단일 모델이 서로 다른 차원의 표현을 생성할 수 있다. Objaverse-LVIS, ModelNet40, ScanNet 데이터셋에서의 실험 결과, 3D-MRL은 제로샷 및 퓨샷 3D 인식 과제에서 경쟁력 있는 성능을 달성한다. 또한 학습된 표현은 단일 모델 내에서 서로 다른 임베딩 차원 간 검색을 지원한다. Objaverse-LVIS에서 3D-MRL은 Top-1 정확도를 46.8%에서 50.9%로 향상시킨다. 검색 실험은 further로, 임베딩 차원에 따라 의미적·기하학적 특이성(specificity)의 수준이 달라짐을 보여준다.
표준 신경망 구조는 동적 프로그래밍(DP) 타깃에 대해 더 긴 입력으로 일반화하는 데 종종 실패한다. 우리는 이것이 기하학적으로 왜 어려운지 조사한다. 모든 유한 min-plus DP는 방향성 비순환 그래프 위의 최단 경로이며, 이는 동치적으로 확장 뉴턴 다면체가 어떤 경로가 이기는지의 결정 경계를 인코딩하는 트로피컬 다항식이다. 우리는 이 세 가지 기술(그래프, 다항식, 다면체)이 두 수준에서 — 형식 다항식과 그들이 계산하는 함수 — 동형 세미링을 이루며, 모든 구조적 중복을 특성화하는 연산들로 연결됨을 증명한다. 그다음 길이 일반화 문제를 기하학적으로 다룬다: 길이 $T$에서의 결정 경계가 $T+1$에서의 경계를 결정하는가? 우리는 두 가지 구조적 부정 결과를 제시한다. 세미링의 두 가지 고유한 차원 축소 방식(각 항등원에 변수를 설정하는 것)은 단사도 아니고 DP 내에서 항상 닫혀 있지도 않다. 직렬 및 병렬 합성은 더 작은 하위 방향성 비순환 그래프로부터 모든 방향성 비순환 그래프 위상을 구성하는 데 실패하며, 터미널 전용 연산 전체를 사용해도 모든 DP 합성을 포착하지 못한다.
합성곱(convolution)과 셀프 어텐션(self-attention)이 각각 공간적 근접성과 특징 유사도 기반의 이웃 선택 전략으로 구분되는 $k$-최근접 이웃($k$-NN) 집계 프레임워크의 특수 사례임을 수학적으로 증명하고, 이를 기반으로 ConvNN이라는 통합 프레임워크를 제안한다. ImageNet-1K 분류에서 ConvNN을 적용한 ResNet-50은 기존 대비 top-1 정확도 3.0% 향상을, ConvNN 어텐션을 탑재한 ViT-Base는 표준 멀티헤드 셀프 어텐션 대비 0.7% 향상된 81.64%를 달성했다.