TransUPR: A Transformer-based Uncertain Point Refiner for LiDAR Point Cloud Semantic Segmentation
원문 초록
Common image-based LiDAR point cloud semantic segmentation (LiDAR PCSS) approaches have bottlenecks resulting from the boundary-blurring problem of convolution neural networks (CNNs) and quantitation loss of spherical projection. In this work, we propose a transformer-based plug-and-play uncertain point refiner, i.e., TransUPR, to refine selected uncertain points in a learnable manner, which leads to an improved segmentation performance. Uncertain points are sampled from coarse semantic segmentation results of 2D image segmentation where uncertain points are located close to the object boundaries in the 2D range image representation and 3D spherical projection background points. Following that, the geometry and coarse semantic features of uncertain points are aggregated by neighbor points in 3D space without adding expensive computation and memory footprint. Finally, the transformer-based refiner, which contains four stacked self-attention layers, along with an MLP module, is utilized for uncertain point classification on the concatenated features of self-attention layers. As the proposed refiner is independent of 2D CNNs, our TransUPR can be easily integrated into any existing image-based LiDAR PCSS approaches, e.g., CENet. Our TransUPR with the CENet achieves state-of-the-art performance, i.e., 68.2% mean Intersection over Union (mIoU) on the Semantic KITTI benchmark, which provides a performance improvement of 0.6% on the mIoU compared to the original CENet.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리
Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout
RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.
CVAE-SM: A Conditional Variational Autoencoder with Style Modulation for Efficient Uncertainty Quantification
Semantic Segmentation Using Transfer Learning on Fisheye Images
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
DEU-Net: Dual-Encoder U-Net for Automated Skin Lesion Segmentation
MASNet: A Robust Deep Marine Animal Segmentation Network
토론
이 논문과 연결된 포럼 글이 아직 없습니다.