OptimusMesh: 희소 잠재 피벗을 통한 포인트 클라우드 기반 컴팩트 자기회귀 메시 생성
OptimusMesh: Compact Autoregressive Mesh Generation from Point Clouds via Sparse Latent Pivots
한국어 초록
포인트 클라우드(point cloud)로부터 컴팩트하고 기하학적으로 충실한 3D 메시(mesh)를 직접 생성하는 것은 여전히 근본적인 과제입니다. 포인트 클라우드는 순서가 없고 희소한 반면, 메시는 불규칙한 구조와 다양한 위상(topology)을 나타냅니다. 그 결과 기존의 많은 접근법은 암시적 표현(implicit representation)에 의존한 후 표면 추출이나 재구성을 수행합니다. 이러한 파이프라인은 효과적이지만 과도하게 조밀하거나 지나치게 매끄러운 메시를 생성할 수 있어, 연산 비용이 많이 드는 후처리 및 단순화 작업을 요구하는 경우가 많습니다. 본 논문에서는 희소 잠재 피벗(sparse latent pivot) 조건화를 활용하여 포인트 클라우드로부터 컴팩트한 삼각형 메시를 직접 생성하는 프레임워크인 OptimusMesh를 제시합니다. 핵심 아이디어는 2,048개의 방향성을 갖는 입력 포인트를 단 16개의 희소 잠재 피벗으로 압축하여, 기하학적 조건화 집합을 128배 줄이는 것입니다. 이러한 피벗은 먼저 메시 정점(vertex)을 생성한 다음 생성된 정점과 동일한 피벗을 조건으로 삼각형 면(face)을 예측하는 2단계 자기회귀(autoregressive) 프레임워크 전반에서 공유되는 컴팩트한 구조적 표현을 제공합니다. 257개의 디코더 조건화 토큰을 사용하는 최근의 포인트 클라우드 조건부 자기회귀 평가 대상 방법들과 비교했을 때, OptimusMesh는 단 16개만을 사용하여 조건화 시퀀스 길이를 16.1배 단축합니다. 실험 결과에 따르면 OptimusMesh는 비교 대상인 최근 자기회귀 방법들 중 가장 컴팩트한 출력을 생성하며, 경쟁력 있는 기하학적 충실도와 분포 품질을 유지하면서도 25.7%~94.1% 더 적은 면을 사용합니다.
원문 초록
Generating compact and geometrically faithful 3D meshes directly from point clouds remains a fundamental challenge. Point clouds are unordered and sparse, whereas meshes exhibit irregular structure and varying topology. As a result, many existing approaches rely on implicit representations followed by surface extraction or reconstruction. Although effective, these pipelines can produce dense or over-smoothed meshes, often requiring computationally expensive post-processing and simplification. We present OptimusMesh, a framework for direct compact triangle mesh generation from point clouds using sparse latent pivot conditioning. Our key idea is to compress $2{,}048$ oriented input points into only $16$ sparse latent pivots, reducing the geometric conditioning set by $128\times$. These pivots provide a compact structural representation shared across a two-stage autoregressive framework that first generates mesh vertices and then predicts triangular faces conditioned on the generated vertices and the same pivots. Compared with the evaluated recent point-cloud-conditioned autoregressive methods, which use $257$ decoder-conditioning tokens, OptimusMesh uses only $16$, yielding a $16.1\times$ shorter conditioning sequence. Experiments show that OptimusMesh produces the most compact outputs among the compared recent autoregressive methods, using $25.7\%$--$94.1\%$ fewer faces while maintaining competitive geometric fidelity and distributional quality.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기
ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning
본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.
포인트 클라우드로부터 포장 재배 옥수수의 엔드투엔드 절차적 모델링을 위한 비전-언어 모델(VLM) 기반 파이프라인
A Vision-Language Model (VLM)-based Pipeline for End-to-End Procedural Modeling of Field-Grown Maize from Point Clouds
포장에서 재배된 작물의 편집 가능한 3D 모델은 대량 표현형 분석(high-throughput phenotyping) 및 인실리코(in silico) 육종 시험을 지원하지만, 스캔된 포인트 클라우드로부터 이를 구축하려면 기관 수준의 세그멘테이션(segmentation) 및 피팅(fitting)이 필요합니다. 절차적 생성기(procedural generator)는 기관 수준의 매개변수 집합을 분석에 적합한 3D 모델로 변환할 수 있으나, 해당 매개변수 집합을 얻기 위해서는 식물 개체당 수 시간의 수작업 튜닝이 필요하거나 종 특이적 라벨로 학습된 세그멘테이션 모델이 필요합니다. 본 연구에서는 수작업 튜닝이나 종 특이적 학습 데이터 없이도 원시 3D 포인트 클라우드로부터 절차적 옥수수 모델을 재구성하는 자동화된 파이프라인을 제시합니다. 멀티모달 비전-언어 모델(VLM)이 렌더링된 정사영 뷰(orthographic views)에서 잎의 중심선(midline)에 주석을 답니다. 결정론적 기하학 알고리즘은 이 주석을 포인트 클라우드로 역투영하고, 뷰 간 합의(cross-view consensus)를 통해 3D 잎으로 병합하며, 방향 가중 표면 그래프 상에서 중심선을 완전한 엽신(blade)으로 확장합니다. 측정된 기관 매개변수는 비균일 유리 B-스플라인(NURBS) 기반 절차적 모델 생성기를 위한 식물 기술자(plant descriptor)를 구성합니다. 이후 각 잎 표면은 미분 가능한 NURBS 피팅을 통해 해당 스캔 포인트를 기준으로 정교화됩니다. 이 파이프라인은 MaizeField3D 데이터셋의 유전형이 다양한 100개 포장 재배 옥수수 식물체에서 중앙값 5.4 mm의 식물 전체 챔퍼 거리(Chamfer distance)를 달성했습니다. 재구성된 모델은 수동 주석 기반의 기존 반자동 파이프라인보다 스캔 데이터에 더 근접했습니다. 파이프라인은 해당 라벨을 입력으로 사용하지 않고도 0.5 이상의 IoU(intersection-over-union)에서 1,023개 중 1,017개(99.4%)의 큐레이션된 참조 잎을 복원했습니다. 이러한 결과는 하류 기하학 단계에서 보정할 수 있을 때 VLM 주석이 유용한 기관 수준의 측정값이 될 수 있음을 보여줍니다. 이를 통해 현대적인 표현형 분석 실험 규모에서 편집 가능한 3D 식물 자산의 자동 생성이 실현 가능해집니다.
Trans-Unet을 활용한 뇌 주름 형태 예측을 위한 고충실도 3D 포인트 클라우드 학습
Toward High-Fidelity 3D Point-Cloud Learning for Brain Folding Morphology Prediction Using Trans-Unet
3D 공간에서 고충실도 포인트 클라우드 특징을 학습하는 것은 순열 불변성, 국소 컨텍스트 부족, 세밀한 표면 재구성의 어려움, 높은 계산 비용 등 상당한 과제를 수반한다. 본 논문에서는 이러한 문제를 해결하기 위해, 먼저 3D 포인트 클라우드 데이터를 2D 그리드 영역으로 변환한 다음, 합성곱 신경망(CNN)과 셀프 어텐션(self-attention) 메커니즘을 통합한 U자형 하이브리드 모델을 사용하는 새로운 프레임워크인 Trans-Unet을 제안한다. 제안된 Trans-Unet은 사전 정의된 유한 요소법 뇌 패치 성장 모델에서 도출된 고해상도 3D 포인트 클라우드 데이터(표면 40,401개 포인트, 섬유 2,382개 포인트)로부터 정밀한 특징을 효과적으로 학습하고 재구성하여, 뇌 주름 패턴을 정확하게 예측할 수 있다. 여러 기법을 결합함으로써 Trans-Unet은 상호 보완적인 강점을 활용한다. 3D-2D 변환은 세밀한 구조 정보를 보존하면서 계산 비용과 차원의 저주를 크게 줄이고, 합성곱 블록은 계층적·저수준 국소 표현을 포착하며, 셀프 어텐션 메커니즘은 전역적·고수준 의미와 장거리 의존성을 모델링한다. 데이터셋은 대규모 유한 요소 모델로 생성된 뇌 표면 패치와 섬유 정보를 모두 포함하는 3D 포인트 클라우드로 구성된다. Trans-Unet은 초기 상태(state 0 또는 states 0-2)에서 최종 상태(state 3)까지의 뇌 표면 주름을 예측하는 데 적용된다. 실험 결과, Trans-Unet은 뇌 패치 성장에 대한 고해상도 예측을 달성하며, 충실도와 정확도 모두에서 기존 방법을 능가함을 보여준다.
다중 플랫폼 레이저 스캐닝을 이용한 개별 수목 성장 재구성 프레임워크
A Framework for Individual Tree Growth Reconstruction Using Multi-Platform Laser Scanning
레이저 스캐닝 데이터를 이용한 정확한 수목 단위 산림 모니터링을 위해서는 신뢰할 수 있는 수목 분할, 다중 시점 포인트 클라우드 간 일관된 수목 대응, 그리고 수목 속성 및 그 변화의 정확한 추정이 필요하다. 한대 숲에서 수목 성장을 재구성하는 것은 역사적 줄기 수준 데이터의 부족, 구형 센서로부터 변화 추정으로의 오류 전파, 그리고 측정 불확실성과 비슷한 크기의 성장률로 인해 어렵다. 본 연구는 한대 숲 시험지에서 공중(ALS), 이동형(MLS), 지상 레이저 스캐닝(TLS) 플랫폼의 11개 스캐너로 2014--2025년 사이에 수집한 136개의 포인트 클라우드를 이용하여 개별 수목의 흉고 직경(DBH) 및 줄기 부피 성장을 추정하는 프레임워크를 조사한다. 수목은 MLS 포인트 클라우드에서 심층 학습 기반 분할을 이용해 분할되었으며, 이 방법은 나머지 포인트 클라우드에 전이되어 신뢰할 수 있는 다중 시점 수목 대응을 달성했다. 줄기 곡선은 MLS/TLS 데이터에서 도출되었고, ALS 데이터는 높이 추정에 사용되어 DBH 및 부피 추정과 시계열 분석을 가능하게 했다. 높이 성장 기반 스케일링 모델을 사용하여 시간에 따른 줄기 속성을 재구성하고 성장을 추정했다. 결과는 모델링된 성장이 포인트 클라우드에서 독립적으로 추정된 속성의 차분보다 수동 성장 추정과 더 높은 일치를 보였음을 나타냈다. 모델-수동 5년 및 10년 성장 RMSE는 플롯 난이도에 따라 DBH의 경우 각각 55--111% 및 26--67%였고, 부피의 경우 각각 31--87% 및 21--67%였다. 스케일링 모델은 시간적으로 견고했으며, 오류는 5--6년 후 안정적이거나 안정화되었고, 12년 후 DBH의 최대 RMSE는 8--12%, 부피는 12--23%에 도달했다. MLS/TLS에서 도출한 줄기 측정값과 다중 시점 ALS에서 도출한 높이를 결합하면 다중 수관 하부 스캔 없이도 개별 수목 성장 추정을 위한 견고한 프레임워크를 제공한다.
Axolotl3D: a Unified Framework for Faithful 3D Shape Completion
A real-time RGB-D perception pipeline for autonomous impact hammers in mining: self-filtering, rock segmentation and rock-breaking poses generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.