CANIS: 이미지-의미 브리지를 통한 생성 기반 3D 정규화
CANIS: Generation-Assisted 3D Canonicalization via an Image-Semantic Bridge
한국어 초록
3D 객체의 방향을 정규화(canonicalization)하는 것은 3D 이해 및 분석에 필수적입니다. 기존 방식들은 종종 기하학적 단서에 의존하지만, 3D 정규화는 궁극적으로 의미론적으로 유의미한 방향을 요구합니다. 이러한 간극을 해결하기 위해, 본 연구에서는 정규화 전용 학습(training)이나 범주별 템플릿 없이도 동결된(frozen) 이미지-투-3D 생성 모델(generative model)의 의미론적 방향 사전 확률(prior)을 3D 정규화에 도입하는 범주 독립적인 생성 기반 프레임워크인 CANIS를 제안합니다. 구체적으로, CANIS는 먼저 후보 시점에서 입력 객체를 렌더링하고 유익한 시점을 선택하여 정규화된 방향의 프록시(proxy)를 생성합니다. 생성 과정에서 입력으로부터 인코딩된 희소 구조 잠재 변수(sparse structural latent)는 프록시가 객체의 기하학적 구조를 보존하도록 유도합니다. 그런 다음 CANIS는 선택된 이미지를 입력과 프록시 사이의 의미론적 브리지(semantic bridge)로 활용합니다. 이미지 패치는 프록시의 의미론적 영역을 식별하고, 깊이 역투영(depth back-projection)을 통해 입력에서 해당 영역을 찾아냅니다. 그 결과 생성된 의미론적 앵커(semantic anchor)는 기하학적 매칭을 제약하며, 이를 바탕으로 입력을 정규화하는 강체 변환(rigid transformation)을 추정합니다. 합성 벤치마크(benchmark)에 대한 실험을 통해 CANIS와 그 핵심 구성 요소를 검증하였으며, 부분 관측 데이터 및 OmniObject3D에 대한 정성적 결과는 불완전한 실제 스캔 데이터에 대한 적용 가능성을 보여줍니다. 또한 CANIS는 임의의 회전 상황에서 다운스트림 3D 분류(classification), 파트 분할(part segmentation), 조밀한 대응점 매칭(dense correspondence) 성능을 향상시킵니다. 프로젝트 페이지: https://kenkenzaii.github.io/Canis.
원문 초록
Canonicalizing 3D object orientation is fundamental to 3D understanding and analysis. Existing approaches often rely on geometric cues, although 3D canonicalization ultimately requires a semantically meaningful orientation. To address this gap, we propose CANIS, a category-agnostic, generation-assisted framework that introduces the semantic orientation prior of a frozen image-to-3D generative model into 3D canonicalization, without canonicalization-specific training or category-specific templates. Specifically, CANIS first renders the input object from candidate viewpoints, selects an informative view, and generates a proxy in a canonical orientation. During generation, a sparse structural latent encoded from the input guides the proxy to preserve the geometry of an object. CANIS then uses the selected image as a semantic bridge between the input and the proxy. Image patches identify semantic regions on the proxy, and depth back-projection locates the corresponding regions on the input. The resulting semantic anchors constrain geometric matching, from which we estimate the rigid transformation that canonicalizes the input. Experiments on synthetic benchmarks validate CANIS and its key components, while qualitative results on partial observations and OmniObject3D suggest its applicability to incomplete and real-world scans. CANIS also improves downstream 3D classification, part segmentation, and dense correspondence under arbitrary rotations. Project page: https://kenkenzaii.github.io/Canis.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.07256v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.