Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
원문 초록
3D point cloud semantic segmentation aims to group all points into different semantic categories, which benefits important applications such as point cloud scene reconstruction and understanding. Existing supervised point cloud semantic segmentation methods usually require large-scale annotated point clouds for training and cannot handle new categories. While a few-shot learning method was proposed recently to address these two problems, it suffers from high computational complexity caused by graph construction and inability to learn fine-grained relationships among points due to the use of pooling operations. In this paper, we further address these problems by developing a new multi-layer transformer network for few-shot point cloud semantic segmentation. In the proposed network, the query point cloud features are aggregated based on the class-specific support features in different scales. Without using pooling operations, our method makes full use of all pixel-level features from the support samples. By better leveraging the support features for few-shot learning, the proposed method achieves the new state-of-the-art performance, with 15\% less inference time, over existing few-shot 3D point cloud segmentation models on the S3DIS dataset and the ScanNet dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Semantic Context Encoding for Accurate 3D Point Cloud Segmentation
망막 혈관 분할에서의 관찰자 선택과 임계값 선택: 피험자 분리 평가
Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation
분할 임계값(threshold)을 선택하는 데 사용되는 주석(annotation)은 평가 프로토콜의 일부이지만, 그 효과는 모델 품질과 쉽게 혼동된다. 우리는 CHASE DB1의 전체 28개 이미지와 두 명의 사람 주석자(human annotations) 모두를 사용하여 망막 혈관 분할에서 이러한 선택을 조사한다. 고정된 7-폴드(seven-fold) 프로토콜은 14명의 피험자 각각의 양쪽 눈을 함께 유지한다. 랜덤 포레스트(Random Forest)와 Extra Trees는 관찰자 1을 기준으로 세 개의 무작위 시드(random seed)로 학습되어 총 42개의 적합(fit) 결과를 산출했다. 다섯 가지 임계값 정책은 동일한 점수 맵(score map)을 공유한다: 고정값 0.50, 관찰자 1 튜닝, 관찰자 2 튜닝, 평균 관찰자 튜닝, 그리고 이미지별 낮은 관찰자 Dice의 맥시민(maximin) 튜닝. 랜덤 포레스트의 경우, 맥시민은 21개 적합 중 19개에서 임계값을 변경했지만, 최악 관찰자(worst-observer) Dice는 70.53%에서 70.45%로 감소했다. 쌍별 차이(paired difference)는 -0.073 퍼센트 포인트이며, 조건부 피험자 부트스트랩(subject-bootstrap) 95% 구간은 [-0.384, 0.238]이다. Extra Trees도 동일한 방향을 보인다. 동일한 관찰자-1 튜닝된 랜덤 포레스트 마스크는 관찰자 1 대비 73.66%, 관찰자 2 대비 71.06%의 점수를 기록했다. 이 결과는 임계값 선택 기준(reference)과 평가 기준 모두를 명시적으로 보고해야 한다는 것을 지지하지만, 이 코호트(cohort)에서 맥시민 튜닝으로 인한 정확도 향상을 지지하지는 않는다. 모든 분할(split), 원시 예측(raw prediction), 지표(metric) 및 코드가 함께 제공된다. AI의 도움을 받았음을 명시한다.
ForestQuery: 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습
ForestQuery: Boundary-Aware and Spatially Anchored Query Learning for Unified Forest Point Cloud Segmentation
산림 포인트 클라우드 분할(forest point cloud segmentation)은 세밀한 3D 산림 장면 이해에 필수적이지만, 불규칙한 수목 구조, 심각한 가림 현상, 밀도 변화, 모호한 인스턴스 경계로 인해 여전히 어려운 과제로 남아 있습니다. 최근 쿼리 기반 산림 분할 방법들은 의미론적 분할(semantic segmentation) 및 인스턴스 예측의 통합에 유망한 가능성을 보여주었으나, 산림 고유의 공간 구조를 충분히 활용하지 못하고 경계 불확실성을 제대로 고려하지 못합니다. 본 논문에서는 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습 프레임워크인 ForestQuery를 제안합니다. ForestQuery는 상호 보완적인 두 가지 설계를 통해 인스턴스 및 의미론적 쿼리 학습을 강화합니다. 구체적으로, 경계 불확실성을 명시적으로 모델링하여 신뢰할 수 있는 인스턴스 쿼리 구성을 유도하고 적응형 손실(loss) 재가중치를 통해 쿼리 최적화를 조절합니다. 한편, 공간 앵커 기반 의미론적 쿼리 강화(SA-SQE)는 산림의 수직 층화 사전 지식을 인코딩하는 학습 가능한 3D 앵커를 도입하여 명시적인 공간 참조로 의미론적 쿼리를 풍부하게 만듭니다. 우리는 여러 공개 산림 포인트 클라우드 벤치마크와 자체 수집 및 주석을 추가한 실제 데이터셋에서 ForestQuery를 평가합니다. 광범위한 실험을 통해 다양한 산림 장면에 걸쳐 개별 수목 분할과 의미론적 분할 모두에서 일관된 성능 향상을 입증합니다. 코드와 데이터는 https://zhan994.github.io/ForestQuery 에서 공개적으로 이용 가능합니다.
DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론
DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians
3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.
SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원
SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery
원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.
SADe: 약한 서포트 주석을 이용한 퓨샷 분할을 위한 희소 원자(sparse-atom) 서포트 정화
SADe: Sparse-Atom Support Decontamination for Few-Shot Segmentation with Weak Support Annotations
퓨샷 분할(FSS)은 일반적으로 깨끗한 픽셀 수준의 서포트 마스크를 가정하지만, 실무적인 서포트 지도 학습에서는 박스, 스크리블(scribble), 거친 마스크, 또는 의사 마스크(pseudo-mask)가 자주 사용된다. 이러한 약한 주석에는 타깃과 함께 텍스처가 유사한 방해 요소(distractor)와 배경 맥락이 포함될 수 있어, 쿼리 예측 전에 클래스 프로토타입이나 시각적 프롬프트를 오염시킨다. 본 논문은 SADe를 제안한다. 이는 쿼리 정보 없이 선택된 서포트 패치의 신뢰도를 추정하는 예측기 무관(predictor-agnostic) 서포트 정화 층이다. SADe의 핵심은 희소 오토인코더(SAE) 원자(atom) 증거이다. 밀집 유사도(dense similarity)는 타깃과 텍스처가 유사한 맥락 모두에 반응할 수 있는 반면, 약한 서포트 영역 내부와 외부의 원자 활성화를 대비하는 것은 요인 수준(factor-level)의 신뢰도 단서를 제공한다. 경량 라우터(router)는 원자 증거와 밀집 유사도 및 에피소드 통계를 결합하여 패치 신뢰도를 예측하고 정화된 서포트 마스크를 생성한다. FSS-1000의 합성 약한 서포트 에피소드에서 한 번 학습된 라우터는 모든 타깃 평가에서 고정(frozen)된다. 결과 마스크는 독립 예측을 지원하거나, 쿼리 측 추론을 변경하지 않고 네이티브 서포트 인터페이스를 통해 이질적인 FSS 모델에 제공될 수 있다. 일치하는 약한 서포트 프로토콜 하에서 SADe는 9개의 독립 프롬프트-샷 조합 중 6개에서 최고의 쿼리 mIoU를 달성한다. 동일한 ProMi 쿼리 헤드에서 tight box 하에서는 SAM3 파생 마스크와 0.03 mIoU 이내이며, box-r2 및 box-r4에서는 각각 11.17 및 19.49 포인트를 초과한다. 플러그인으로서 SADe는 4개의 고정 다운스트림 모델과 2개 데이터셋에 걸친 72개의 일치하는 box-family 비교 중 70개에서 raw support 대비 개선한다. 포인트 및 스크리블 프롬프트에서는 평균 성능이 해당 raw-support 기준선에 가깝게 유지된다. Ablation 및 원자 제거(atom-removal) 대조 실험은 원자 증거가 밀집 유사도를 넘어 신뢰도 정보에 기여함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.