From CAD models to soft point cloud labels: An automatic annotation pipeline for cheaply supervised 3D semantic segmentation
원문 초록
We propose a fully automatic annotation scheme that takes a raw 3D point cloud with a set of fitted CAD models as input and outputs convincing point-wise labels that can be used as cheap training data for point cloud segmentation. Compared with manual annotations, we show that our automatic labels are accurate while drastically reducing the annotation time and eliminating the need for manual intervention or dataset-specific parameters. Our labeling pipeline outputs semantic classes and soft point-wise object scores, which can either be binarized into standard one-hot-encoded labels, thresholded into weak labels with ambiguous points left unlabeled, or used directly as soft labels during training. We evaluate the label quality and segmentation performance of PointNet++ on a dataset of real industrial point clouds and Scan2CAD, a public dataset of indoor scenes. Our results indicate that reducing supervision in areas that are more difficult to label automatically is beneficial compared with the conventional approach of naively assigning a hard "best guess" label to every point.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ForestQuery: 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습
ForestQuery: Boundary-Aware and Spatially Anchored Query Learning for Unified Forest Point Cloud Segmentation
산림 포인트 클라우드 분할(forest point cloud segmentation)은 세밀한 3D 산림 장면 이해에 필수적이지만, 불규칙한 수목 구조, 심각한 가림 현상, 밀도 변화, 모호한 인스턴스 경계로 인해 여전히 어려운 과제로 남아 있습니다. 최근 쿼리 기반 산림 분할 방법들은 의미론적 분할(semantic segmentation) 및 인스턴스 예측의 통합에 유망한 가능성을 보여주었으나, 산림 고유의 공간 구조를 충분히 활용하지 못하고 경계 불확실성을 제대로 고려하지 못합니다. 본 논문에서는 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습 프레임워크인 ForestQuery를 제안합니다. ForestQuery는 상호 보완적인 두 가지 설계를 통해 인스턴스 및 의미론적 쿼리 학습을 강화합니다. 구체적으로, 경계 불확실성을 명시적으로 모델링하여 신뢰할 수 있는 인스턴스 쿼리 구성을 유도하고 적응형 손실(loss) 재가중치를 통해 쿼리 최적화를 조절합니다. 한편, 공간 앵커 기반 의미론적 쿼리 강화(SA-SQE)는 산림의 수직 층화 사전 지식을 인코딩하는 학습 가능한 3D 앵커를 도입하여 명시적인 공간 참조로 의미론적 쿼리를 풍부하게 만듭니다. 우리는 여러 공개 산림 포인트 클라우드 벤치마크와 자체 수집 및 주석을 추가한 실제 데이터셋에서 ForestQuery를 평가합니다. 광범위한 실험을 통해 다양한 산림 장면에 걸쳐 개별 수목 분할과 의미론적 분할 모두에서 일관된 성능 향상을 입증합니다. 코드와 데이터는 https://zhan994.github.io/ForestQuery 에서 공개적으로 이용 가능합니다.
CVKD-UDA: 3D 비지도 도메인 적응 분할을 위한 교차 뷰 지식 증류
CVKD-UDA: Cross-View Knowledge Distillation for 3D Unsupervised Domain Adaptive Segmentation
3D 비지도 도메인 적응(UDA) 분할은 새로운 도메인 데이터의 수동 어노테이션에 소요되는 높은 비용을 줄여준다. 이 분야에서는 셀프 트레이닝(self-training)이 주류 접근법으로 자리잡았으며, 그 성공은 신뢰할 수 있는 의사 레이블(pseudo label)을 생성하기 위한 잘 초기화된 웜업 모델에 크게 의존한다. 그러나 기존 방법들은 웜업 모델을 얻기 위해 소스 지도학습 또는 출력 수준의 적대적 정렬(adversarial alignment)에 의존하는 경우가 많으며, 도메인 간 큰 도메인 격차로 인해 제한된 일반화 성능과 학습 불안정성 문제를 겪는다. 도메인 유사 표현을 구성하는 것은 이 격차를 좁히는 효과적인 방법이다. 본 연구에서는 CVKD-UDA를 제안하며, 복셀 크기(voxel size)를 도메인 유사 표현 구성의 핵심 설계 요소로 재조명하고, 교차 뷰(cross-view) 상보적 단서를 활용하여 웜업 모델의 전이 가능성(transferability)과 판별 가능성(discriminability)을 균형 있게 조율한다. 먼저, 복셀 크기를 변화시켜 두 가지 상보적 뷰를 생성하고, 교차 뷰 지식 증류(CVKD)를 도입하여 모델의 일반화 성능과 타겟 도메인 인식 능력을 향상시킨다. 다음으로, 전이 가능성과 판별 가능성의 균형을 맞추기 위해 경량 Decouple-Adapter와 보조 모방 분류기(auxiliary imitation classifier)를 설계하여 교차 뷰 지식 전이를 분리한다. 두 가지 벤치마크에 대한 광범위한 실험을 통해 CVKD-UDA가 셀프 트레이닝 방법의 성능을 효과적으로 향상시키고 3D UDA 분할에 새로운 관점을 제시함을 입증한다. 코드는 GitHub에 공개될 예정이다.
Fully Automated Scan-to-BIM Via Point Cloud Instance Segmentation
Point-LGMask: Local and Global Contexts Embedding for Point Cloud Pre-training with Multi-Ratio Masking
Cross-Domain Few-Shot Semantic Segmentation
Semantic Context Encoding for Accurate 3D Point Cloud Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.