PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02388v1cs.CV

명시적 3D 언어로서의 옥트리

Octrees as an Explicit 3D Language

기존의 3D 대규모 언어 모델(LLM)은 두 가지 측면에서 타협합니다. 즉, 형상을 잠재 코드북 인덱스나 좌표 텍스트로 압축하여 모델이 관찰하는 대상에서 공간 구조를 제거하며, 백본을 미세조정(fine-tuning)하여 3D 모달리티를 획득함으로써 일반 언어 능력을 덮어씁니다. 본 논문에서는 두 한계를 모두 해결하는 OctLLM을 제시합니다. 기하학적 정보는 옥트리(octree) 점유 토큰의 명시적 3D 시퀀스로 입력됩니다. 그러나 전체 옥트리 시퀀스는 깊이에 따라 급격히 증가하므로, OctLLM은 형상을 보존하면서 끝에서 두 번째 레벨의 노드를 무작위로 비우고 하위 노드를 생략하여, 위치 인식 마스크 모델링 생성 및 3D 이해를 위한 좌표 및 깊이 기반의 더 짧은 희소 옥트리(Sparse Octree, S-Octree)를 생성합니다. 다른 한편으로, 기존 방법들은 완전 미세조정(full fine-tuning)이나 LoRA를 통해 새로운 모달리티를 도입하지만, 완전 미세조정은 비용이 많이 들고, LoRA는 3D 용량을 제한하며, 두 방식 모두 언어 경로를 수정합니다. 대신 OctLLM은 사전학습된 파라미터와 분리된 파라미터에 3D 용량을 추가합니다. 즉, 메시 토큰은 일부 블록의 독립적인 학습 가능 브랜치를 통해 라우팅되는 반면 텍스트 및 이미지 토큰은 고정된(frozen) 비전-언어 경로를 유지하고, 두 스트림은 공유된 셀프 어텐션(self-attention)을 통해 상호작용합니다. OctLLM은 완전 미세조정보다 훨씬 적은 파라미터를 학습하면서도 통합 멀티모달 LLM 중 새로운 최고 성능(state of the art)을 달성하여, ShapeLLM-Omni 대비 image-to-3D FID를 $17.4\%$ 낮추고 렌더링 기반 캡셔닝을 $28.7$점 향상시키는 동시에 일반 언어 벤치마크에서 백본 수준의 성능을 유지합니다.

arXiv:2510.18999v3cs.RO

OREN: 실시간 유클리드 부호 거리 매핑을 위한 옥트리 잔차 네트워크

OREN: Octree Residual Network for Real-Time Euclidean Signed Distance Mapping

옥트리 보간의 명시적 사전 정보와 신경망 회귀의 암묵적 잔차를 결합한 하이브리드 방법인 OREN을 제안하여, 포인트 클라우드로부터 실시간으로 비절단(Euclidean) 부호 거리 함수(SDF)를 재구성한다. 체적 기반 방법에 필적하는 연산·메모리 효율성과 신경망 방법에 필적하는 정확도 및 미분 가능성을 동시에 달성하며, 로보틱스 및 컴퓨터 비전의 다운스트림 태스크에서 최신 기술(state of the art)을 능가하는 확장 가능한 솔루션을 제공함을 실험으로 입증한다.