Are We Hungry for 3D LiDAR Data for Semantic Segmentation? A Survey and Experimental Study
원문 초록
3D semantic segmentation is a fundamental task for robotic and autonomous driving applications. Recent works have been focused on using deep learning techniques, whereas developing fine-annotated 3D LiDAR datasets is extremely labor intensive and requires professional skills. The performance limitation caused by insufficient datasets is called data hunger problem. This research provides a comprehensive survey and experimental study on the question: are we hungry for 3D LiDAR data for semantic segmentation? The studies are conducted at three levels. First, a broad review to the main 3D LiDAR datasets is conducted, followed by a statistical analysis on three representative datasets to gain an in-depth view on the datasets' size and diversity, which are the critical factors in learning deep models. Second, a systematic review to the state-of-the-art 3D semantic segmentation is conducted, followed by experiments and cross examinations of three representative deep learning methods to find out how the size and diversity of the datasets affect deep models' performance. Finally, a systematic survey to the existing efforts to solve the data hunger problem is conducted on both methodological and dataset's viewpoints, followed by an insightful discussion of remaining problems and open questions To the best of our knowledge, this is the first work to analyze the data hunger problem for 3D semantic segmentation using deep learning techniques that are addressed in the literature review, statistical analysis, and cross-dataset and cross-algorithm experiments. We share findings and discussions, which may lead to potential topics in future works.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DEU-Net: Dual-Encoder U-Net for Automated Skin Lesion Segmentation
Learning Better Registration to Learn Better Few-Shot Medical Image Segmentation: Authenticity, Diversity, and Robustness
Cross-Domain Few-Shot Semantic Segmentation
A Convolutional Neural Network for Point Cloud Instance Segmentation in Cluttered Scene Trained by Synthetic Data Without Color
망막 혈관 분할에서의 관찰자 선택과 임계값 선택: 피험자 분리 평가
Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation
분할 임계값(threshold)을 선택하는 데 사용되는 주석(annotation)은 평가 프로토콜의 일부이지만, 그 효과는 모델 품질과 쉽게 혼동된다. 우리는 CHASE DB1의 전체 28개 이미지와 두 명의 사람 주석자(human annotations) 모두를 사용하여 망막 혈관 분할에서 이러한 선택을 조사한다. 고정된 7-폴드(seven-fold) 프로토콜은 14명의 피험자 각각의 양쪽 눈을 함께 유지한다. 랜덤 포레스트(Random Forest)와 Extra Trees는 관찰자 1을 기준으로 세 개의 무작위 시드(random seed)로 학습되어 총 42개의 적합(fit) 결과를 산출했다. 다섯 가지 임계값 정책은 동일한 점수 맵(score map)을 공유한다: 고정값 0.50, 관찰자 1 튜닝, 관찰자 2 튜닝, 평균 관찰자 튜닝, 그리고 이미지별 낮은 관찰자 Dice의 맥시민(maximin) 튜닝. 랜덤 포레스트의 경우, 맥시민은 21개 적합 중 19개에서 임계값을 변경했지만, 최악 관찰자(worst-observer) Dice는 70.53%에서 70.45%로 감소했다. 쌍별 차이(paired difference)는 -0.073 퍼센트 포인트이며, 조건부 피험자 부트스트랩(subject-bootstrap) 95% 구간은 [-0.384, 0.238]이다. Extra Trees도 동일한 방향을 보인다. 동일한 관찰자-1 튜닝된 랜덤 포레스트 마스크는 관찰자 1 대비 73.66%, 관찰자 2 대비 71.06%의 점수를 기록했다. 이 결과는 임계값 선택 기준(reference)과 평가 기준 모두를 명시적으로 보고해야 한다는 것을 지지하지만, 이 코호트(cohort)에서 맥시민 튜닝으로 인한 정확도 향상을 지지하지는 않는다. 모든 분할(split), 원시 예측(raw prediction), 지표(metric) 및 코드가 함께 제공된다. AI의 도움을 받았음을 명시한다.
DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론
DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians
3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.