Region-Transformer: Self-Attention Region Based Class-Agnostic Point Cloud Segmentation
원문 초록
Point cloud segmentation, which helps us understand the environment of specific structures and objects, can be performed in class-specific and class-agnostic ways. We propose a novel region-based transformer model called Region-Transformer for performing class-agnostic point cloud segmentation. The model utilizes a region-growth approach and self-attention mechanism to iteratively expand or contract a region by adding or removing points. It is trained on simulated point clouds with instance labels only, avoiding semantic labels. Attention-based networks have succeeded in many previous methods of performing point cloud segmentation. However, a region-growth approach with attention-based networks has yet to be used to explore its performance gain. To our knowledge, we are the first to use a self-attention mechanism in a region-growth approach. With the introduction of self-attention to region-growth that can utilize local contextual information of neighborhood points, our experiments demonstrate that the Region-Transformer model outperforms previous class-agnostic and class-specific methods on indoor datasets regarding clustering metrics. The model generalizes well to large-scale scenes. Key advantages include capturing long-range dependencies through self-attention, avoiding the need for semantic labels during training, and applicability to a variable number of objects. The Region-Transformer model represents a promising approach for flexible point cloud segmentation with applications in robotics, digital twinning, and autonomous vehicles.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NegROI: 강건한 인터랙티브 3D 분할을 위한 장면 조건부 네거티브 프롬프트와 클릭 중심 불확실성 기반 정제
NegROI: Click-Centric Uncertainty-Guided Refinement with Scene-Conditioned Negative Prompts for Robust Interactive 3D Segmentation
인터랙티브 3D 분할은 최소한의 사용자 클릭으로 포인트 클라우드에서 객체 마스크를 추출하는 것을 목표로 한다. 최근의 발전에도 불구하고, 대부분의 기존 접근법은 (i) 제한된 클릭 상황에서 세밀한 경계를 흐리게 만드는 거친 복셀 해상도와 (ii) 혼동하기 쉬운 배경 구조로 인해 발생하는 강성 거짓 양성(false positive) 문제에 여전히 어려움을 겪고 있다. 이러한 문제는 데이터셋 간 밀도 및 스케일 변화(예: 조밀한 RGB-D 재구성 대 희소한 LiDAR 스캔)로 인해 더욱 심화되며, 고정된 정제 휴리스틱과 순수 클릭 기반 디코딩은 일반화 성능이 낮다. 이를 해결하기 위해, 우리는 클릭 중심 다중 해상도 정제와 장면 조건부 네거티브 프롬프트를 결합한 새로운 트랜스포머 기반 인터랙티브 프레임워크인 NegROI를 제안한다. 거친 복셀 예측이 주어지면, 현재 클릭 주변의 로컬 관심 영역(ROI)만을 더 세밀한 그리드 위에서 정제하고, 정제된 로짓을 거친 마스크에 다시 융합한다. 강건성과 효율성을 향상시키기 위해, 모호한 영역을 우선시하는 불확실성 기반 선택적 정제를 도입한다. 또한, 장면 토큰에 대한 크로스-어텐션을 통해 얻은 장면 조건부 네거티브 프롬프트 집합으로 어려운 배경 패턴을 모델링한다. 나아가 다양성 정규화기(diversity regularizer)를 통해 이 프롬프트들을 안정화한다. 마지막으로, 경계 근접 고신뢰 거짓 양성에 대한 네거티브 프롬프트 어텐션을 지도하기 위해 경계 인식 하드 네거티브 마이닝(boundary-aware hard negative mining)을 제안한다. ScanNet, S3DIS, KITTI 등 주요 벤치마크 데이터셋에서의 실험을 통해, 최신 기법 대비 향상된 클릭 효율성, 감소된 거짓 양성, 그리고 더 강건한 크로스 데이터셋 일반화 성능을 입증한다.
InconSeg: Residual-Guided Fusion With Inconsistent Multi-Modal Data for Negative and Positive Road Obstacles Segmentation
MTANet: Multitask-Aware Network With Hierarchical Multimodal Fusion for RGB-T Urban Scene Understanding
Semantic Context Encoding for Accurate 3D Point Cloud Segmentation
Indoor Point Cloud Segmentation Using Iterative Gaussian Mapping and Improved Model Fitting
Multi-Feature View-Based Shallow Convolutional Neural Network for Road Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.