Contrastive Learning for Self-Supervised Pre-Training of Point Cloud Segmentation Networks With Image Data
원문 초록
Reducing the quantity of annotations required for supervised training is vital when labels are scarce and costly. This reduction is particularly important for semantic segmentation tasks involving 3D datasets, which are often significantly smaller and more challenging to annotate than their image-based counterparts. Self-supervised pre-training on unlabelled data is one way to reduce the amount of manual annotations needed. Previous work has focused on pre-training with point clouds exclusively. While useful, this approach often requires two or more registered views. In the present work, we combine image and point cloud modalities by first learning self-supervised image features and then using these features to train a 3D model. By incorporating image data, which is often included in many 3D datasets, our pre-training method only requires a single scan of a scene and can be applied to cases where localization information is unavailable. We demonstrate that our pre-training approach, despite using single scans, achieves comparable performance to other multi-scan, point cloud-only methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ForestQuery: 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습
ForestQuery: Boundary-Aware and Spatially Anchored Query Learning for Unified Forest Point Cloud Segmentation
산림 포인트 클라우드 분할(forest point cloud segmentation)은 세밀한 3D 산림 장면 이해에 필수적이지만, 불규칙한 수목 구조, 심각한 가림 현상, 밀도 변화, 모호한 인스턴스 경계로 인해 여전히 어려운 과제로 남아 있습니다. 최근 쿼리 기반 산림 분할 방법들은 의미론적 분할(semantic segmentation) 및 인스턴스 예측의 통합에 유망한 가능성을 보여주었으나, 산림 고유의 공간 구조를 충분히 활용하지 못하고 경계 불확실성을 제대로 고려하지 못합니다. 본 논문에서는 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습 프레임워크인 ForestQuery를 제안합니다. ForestQuery는 상호 보완적인 두 가지 설계를 통해 인스턴스 및 의미론적 쿼리 학습을 강화합니다. 구체적으로, 경계 불확실성을 명시적으로 모델링하여 신뢰할 수 있는 인스턴스 쿼리 구성을 유도하고 적응형 손실(loss) 재가중치를 통해 쿼리 최적화를 조절합니다. 한편, 공간 앵커 기반 의미론적 쿼리 강화(SA-SQE)는 산림의 수직 층화 사전 지식을 인코딩하는 학습 가능한 3D 앵커를 도입하여 명시적인 공간 참조로 의미론적 쿼리를 풍부하게 만듭니다. 우리는 여러 공개 산림 포인트 클라우드 벤치마크와 자체 수집 및 주석을 추가한 실제 데이터셋에서 ForestQuery를 평가합니다. 광범위한 실험을 통해 다양한 산림 장면에 걸쳐 개별 수목 분할과 의미론적 분할 모두에서 일관된 성능 향상을 입증합니다. 코드와 데이터는 https://zhan994.github.io/ForestQuery 에서 공개적으로 이용 가능합니다.
대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화
Contrastive Attention Mitigates Spectral Bias in Spiking Transformers
스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.
다시점 객체 연관 및 경계 정제를 통한 강건한 개방 어휘 3D 분할을 위한 Hybrid Gaussians
Hybrid Gaussians for Robust Open-Vocabulary 3D Segmentation with Multi-View Object Association and Boundary Refinement
개방 어휘 3D 분할(open-vocabulary 3D segmentation)은 자유 형식 텍스트 질의로 객체를 위치시키지만, 실제 이미지 시퀀스에서는 여전히 어렵다. 불완전하거나 노이즈가 있는 2D 지도(supervision)는 다시점 정체성 할당을 불안정하게 하고, 전 장면 의미 학습은 객체 수준 판별력을 약화시킨다. 본 논문은 객체 연관과 언어 정렬 의미를 공동으로 모델링하는 통합 3D 표현인 Hybrid Gaussians를 제안한다. Multi-View Object Association 메커니즘은 Observation Fusion과 Semantic Contrastive Learning을 결합하여 정체성 일관성과 의미적 판별력을 높인다. Boundary Reconstruction Optimization은 지역 경계 구조를 추가로 정제하여 윤곽 품질을 개선한다. LERF와 3D-OVS에서의 실험은 강한 정량·정성 성능을 보여준다. 본 방법은 LERF에서 59.1% mIoU를 달성하여 기준선 대비 13.4% 상대 향상을 얻는다. 프로젝트 페이지: https://nora202.github.io/hybridgaussians.
HyperCLIP++: 쌍곡 공간에서 개방 어휘 의미 분할을 위한 CLIP 미세조정
HyperCLIP++: Fine-tuning CLIP forOpen-vocabulary Semantic Segmentation in Hyperbolic Space
기초 비전-언어 모델인 CLIP은 개방 어휘 의미 분할(open-vocabulary semantic segmentation)에 강력한 도구로 부상했다. CLIP의 텍스트 인코더를 동결(freezing)하면 일반화 능력이 유지된다는 것이 알려져 있지만, 최근 연구들은 CLIP의 텍스트·이미지 인코더를 함께 미세조정하면 분할 성능, 특히 개방 집합(open set) 클래스에서 크게 향상된다고 보여준다. 본 연구에서는 미세조정 과정에서 이미지 임베딩(embedding)의 위계 수준이 이미지 수준에서 픽셀 수준으로 이동하기 때문에, 위계 정렬(hierarchy alignment) 관점에서 이 현상을 설명한다. 이를 위해 위계 구조를 자연스럽게 인코딩하는 쌍곡 공간(hyperbolic space)을 활용한다. 핵심 관찰은 미세조정 동안 CLIP 텍스트 임베딩의 쌍곡 반경(hyperbolic radius)이 감소하여 시각 데이터의 픽셀 수준 세분성과 더 잘 정렬된다는 점이다. 이를 바탕으로 HyperCLIP++라는 새로운 매개변수 효율적 적응 전략을 제안한다. HyperCLIP++는 스케일링 변환을 통해 CLIP 임베딩의 쌍곡 반경을 직접 조정하여 목표 과제인 분할에 맞는 위계 정렬을 달성한다. 두 모달리티 전반에 걸쳐 위계 정렬이 일관되게 이루어지고 학습 중 교차 모달 정렬이 유지되도록, HyperCLIP++는 비전·텍스트 경로 간 조정을 동기화하는 Dual Cross-Relation Communication(DCRC) 모듈을 통합한다. 실험 결과 HyperCLIP++는 CLIP 전체 매개변수의 약 5%만 미세조정하면서 세 벤치마크에서 최첨단(state-of-the-art) 성능을 달성한다. 더 중요하게, 조정 후 CLIP 텍스트 임베딩은 데이터셋에 걸쳐 상대적으로 고정된 쌍곡 반경을 보이며, 이 분할 과제에 필요한 위계 수준이 쌍곡 반경으로 정량화될 수 있음을 시사한다.
손실 안정화, 정규화 및 부분공간 어텐션을 통한 수술 후 교모세포종 분할
Post-Operative Glioma Segmentation via Loss Stabilization, Normalization and Subspace Attention
수술 후 잔존 종양을 추적하는 것은 재발을 조기에 발견하는 데 필수적이지만, 수술 후 교모세포종 분할을 자동화하는 것은 여전히 어려운 과제이다. SwinUNETR과 같은 트랜스포머 기반 아키텍처가 인상적인 결과를 달성했지만, 임상 프로토콜 간 일반화 성능을 검증하는 연구는 거의 없다. 본 논문에서는 MU-GLIOMA-POST 및 UCSF-ALPTDG 데이터셋에 대한 절제 연구(ablation study)를 수행하고, 표준 Generalized Dice Loss(GDL)가 도메인 이동(domain shift) 하에서 불안정함을 보임을 밝힌다. Whole Lesion(WL) Dice는 내부 검증 세트에서 0.88이었으나 외부 UCSF 테스트 세트에서는 0.73으로 하락한다. 이를 해결하기 위해 뇌 마스크 기반 백분위 정규화(percentile normalization)를 복셀 수준 대조 학습(voxel-level contrastive learning)과 결합한다. 또한 보틀넥(bottleneck) 특징을 재보정하고 내부 검증에서 Enhancing Tumor(ET) 민감도를 8%(상대적 9.1% 향상) 높이는 Subspace-Aware Class Attention(SACA) 모듈을 제안한다. 이러한 개선 사항을 nnU-Net과 앙상블하면 모든 안정적인 구성이 WL Dice 0.94에 도달하며, SACA 변형 앙상블은 MU-GLIOMA-POST에서 최고의 경계 오류(HD95) 2.92 mm를 달성한다.
DINOde: 오픈 어휘 의미 분할을 위한 연속적 비전-텍스트 정렬
DINOde: Continuous Vision-Text Alignment for Open-Vocabulary Semantic Segmentation
오픈 어휘 의미 분할(OVSS)은 텍스트 의미를 활용하여 사전 정의된 범주를 넘어 객체를 분할한다. 자기 지도(self-supervised) 모델 DINOv3는 강력한 구조화된 시각 표현을 제공하지만, 고유한 텍스트 정렬이 없어 OVSS에 직접 적용하기 어렵다. 이 간극을 메우기 위해 CLIP 텍스트 임베딩(embedding)을 DINO 시각 매니폴드(manifold)와 연속적으로 정렬하는 ODE 기반 프레임워크인 DINOde를 제안한다. 우리 접근법은 두 가지 상보적 구성 요소를 사용한다: (i) 연속 ODE 궤적을 통해 텍스트 임베딩을 DINO 매니폴드 쪽으로 진화시키는 Semantic Text Flow(STF), (ii) DINO의 CLS 토큰이 담고 있는 전역적 이미지 표현을 점진적으로 정제하는 Global Context Flow(GCF). 이 진화 과정에서 특징(feature) 공간의 초구면(hyperspherical) 기하를 보존하기 위해, 학습된 속도장(velocity field)을 접공간(tangent space)에 제약하는 Velocity Tangent Projection을 추가로 도입한다. 정렬을 연속 궤적으로 모델링함으로써 DINOde는 이산 MLP 투영에 내재된 매니폴드 얽힘(manifold entanglement)을 피하고, 더 견고한 교차 모달 정렬을 달성한다. 광범위한 실험 결과, DINOde는 기존 방법들을 일관되게 능가하며 여러 OVSS 벤치마크(benchmark)에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/yoon307/DINOde 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.