arXiv:2307.09755

Space Engage: Collaborative Space Supervision for Contrastive-based Semi-Supervised Semantic Segmentation

Changqi Wang, Haoyu Xie, Yuhui Yuan, Chong Fu, Xiangyu Yue

제출 2023-07-19

원문 초록

Semi-Supervised Semantic Segmentation (S4) aims to train a segmentation model with limited labeled images and a substantial volume of unlabeled images. To improve the robustness of representations, powerful methods introduce a pixel-wise contrastive learning approach in latent space (i.e., representation space) that aggregates the representations to their prototypes in a fully supervised manner. However, previous contrastive-based S4 methods merely rely on the supervision from the model's output (logits) in logit space during unlabeled training. In contrast, we utilize the outputs in both logit space and representation space to obtain supervision in a collaborative way. The supervision from two spaces plays two roles: 1) reduces the risk of over-fitting to incorrect semantic information in logits with the help of representations; 2) enhances the knowledge exchange between the two spaces. Furthermore, unlike previous approaches, we use the similarity between representations and prototypes as a new indicator to tilt training those under-performing representations and achieve a more efficient contrastive learning process. Results on two public benchmarks demonstrate the competitive performance of our method compared with state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01403v1cs.AI공통 태그 Semantic Segmentation, Contrastive Learning

대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화

Contrastive Attention Mitigates Spectral Bias in Spiking Transformers

스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.

arXiv:2609.27462v1cs.CV공통 태그 Semantic Segmentation, Contrastive Learning

다시점 객체 연관 및 경계 정제를 통한 강건한 개방 어휘 3D 분할을 위한 Hybrid Gaussians

Hybrid Gaussians for Robust Open-Vocabulary 3D Segmentation with Multi-View Object Association and Boundary Refinement

개방 어휘 3D 분할(open-vocabulary 3D segmentation)은 자유 형식 텍스트 질의로 객체를 위치시키지만, 실제 이미지 시퀀스에서는 여전히 어렵다. 불완전하거나 노이즈가 있는 2D 지도(supervision)는 다시점 정체성 할당을 불안정하게 하고, 전 장면 의미 학습은 객체 수준 판별력을 약화시킨다. 본 논문은 객체 연관과 언어 정렬 의미를 공동으로 모델링하는 통합 3D 표현인 Hybrid Gaussians를 제안한다. Multi-View Object Association 메커니즘은 Observation Fusion과 Semantic Contrastive Learning을 결합하여 정체성 일관성과 의미적 판별력을 높인다. Boundary Reconstruction Optimization은 지역 경계 구조를 추가로 정제하여 윤곽 품질을 개선한다. LERF와 3D-OVS에서의 실험은 강한 정량·정성 성능을 보여준다. 본 방법은 LERF에서 59.1% mIoU를 달성하여 기준선 대비 13.4% 상대 향상을 얻는다. 프로젝트 페이지: https://nora202.github.io/hybridgaussians.

arXiv:2609.24564v1cs.CV공통 태그 Semantic Segmentation, Contrastive Learning

HyperCLIP++: 쌍곡 공간에서 개방 어휘 의미 분할을 위한 CLIP 미세조정

HyperCLIP++: Fine-tuning CLIP forOpen-vocabulary Semantic Segmentation in Hyperbolic Space

기초 비전-언어 모델인 CLIP은 개방 어휘 의미 분할(open-vocabulary semantic segmentation)에 강력한 도구로 부상했다. CLIP의 텍스트 인코더를 동결(freezing)하면 일반화 능력이 유지된다는 것이 알려져 있지만, 최근 연구들은 CLIP의 텍스트·이미지 인코더를 함께 미세조정하면 분할 성능, 특히 개방 집합(open set) 클래스에서 크게 향상된다고 보여준다. 본 연구에서는 미세조정 과정에서 이미지 임베딩(embedding)의 위계 수준이 이미지 수준에서 픽셀 수준으로 이동하기 때문에, 위계 정렬(hierarchy alignment) 관점에서 이 현상을 설명한다. 이를 위해 위계 구조를 자연스럽게 인코딩하는 쌍곡 공간(hyperbolic space)을 활용한다. 핵심 관찰은 미세조정 동안 CLIP 텍스트 임베딩의 쌍곡 반경(hyperbolic radius)이 감소하여 시각 데이터의 픽셀 수준 세분성과 더 잘 정렬된다는 점이다. 이를 바탕으로 HyperCLIP++라는 새로운 매개변수 효율적 적응 전략을 제안한다. HyperCLIP++는 스케일링 변환을 통해 CLIP 임베딩의 쌍곡 반경을 직접 조정하여 목표 과제인 분할에 맞는 위계 정렬을 달성한다. 두 모달리티 전반에 걸쳐 위계 정렬이 일관되게 이루어지고 학습 중 교차 모달 정렬이 유지되도록, HyperCLIP++는 비전·텍스트 경로 간 조정을 동기화하는 Dual Cross-Relation Communication(DCRC) 모듈을 통합한다. 실험 결과 HyperCLIP++는 CLIP 전체 매개변수의 약 5%만 미세조정하면서 세 벤치마크에서 최첨단(state-of-the-art) 성능을 달성한다. 더 중요하게, 조정 후 CLIP 텍스트 임베딩은 데이터셋에 걸쳐 상대적으로 고정된 쌍곡 반경을 보이며, 이 분할 과제에 필요한 위계 수준이 쌍곡 반경으로 정량화될 수 있음을 시사한다.

arXiv:2607.22749v1cs.CV공통 태그 Semantic Segmentation, Contrastive Learning

손실 안정화, 정규화 및 부분공간 어텐션을 통한 수술 후 교모세포종 분할

Post-Operative Glioma Segmentation via Loss Stabilization, Normalization and Subspace Attention

수술 후 잔존 종양을 추적하는 것은 재발을 조기에 발견하는 데 필수적이지만, 수술 후 교모세포종 분할을 자동화하는 것은 여전히 어려운 과제이다. SwinUNETR과 같은 트랜스포머 기반 아키텍처가 인상적인 결과를 달성했지만, 임상 프로토콜 간 일반화 성능을 검증하는 연구는 거의 없다. 본 논문에서는 MU-GLIOMA-POST 및 UCSF-ALPTDG 데이터셋에 대한 절제 연구(ablation study)를 수행하고, 표준 Generalized Dice Loss(GDL)가 도메인 이동(domain shift) 하에서 불안정함을 보임을 밝힌다. Whole Lesion(WL) Dice는 내부 검증 세트에서 0.88이었으나 외부 UCSF 테스트 세트에서는 0.73으로 하락한다. 이를 해결하기 위해 뇌 마스크 기반 백분위 정규화(percentile normalization)를 복셀 수준 대조 학습(voxel-level contrastive learning)과 결합한다. 또한 보틀넥(bottleneck) 특징을 재보정하고 내부 검증에서 Enhancing Tumor(ET) 민감도를 8%(상대적 9.1% 향상) 높이는 Subspace-Aware Class Attention(SACA) 모듈을 제안한다. 이러한 개선 사항을 nnU-Net과 앙상블하면 모든 안정적인 구성이 WL Dice 0.94에 도달하며, SACA 변형 앙상블은 MU-GLIOMA-POST에서 최고의 경계 오류(HD95) 2.92 mm를 달성한다.

arXiv:2607.21371v1cs.CV공통 태그 Semantic Segmentation, Contrastive Learning

DINOde: 오픈 어휘 의미 분할을 위한 연속적 비전-텍스트 정렬

DINOde: Continuous Vision-Text Alignment for Open-Vocabulary Semantic Segmentation

오픈 어휘 의미 분할(OVSS)은 텍스트 의미를 활용하여 사전 정의된 범주를 넘어 객체를 분할한다. 자기 지도(self-supervised) 모델 DINOv3는 강력한 구조화된 시각 표현을 제공하지만, 고유한 텍스트 정렬이 없어 OVSS에 직접 적용하기 어렵다. 이 간극을 메우기 위해 CLIP 텍스트 임베딩(embedding)을 DINO 시각 매니폴드(manifold)와 연속적으로 정렬하는 ODE 기반 프레임워크인 DINOde를 제안한다. 우리 접근법은 두 가지 상보적 구성 요소를 사용한다: (i) 연속 ODE 궤적을 통해 텍스트 임베딩을 DINO 매니폴드 쪽으로 진화시키는 Semantic Text Flow(STF), (ii) DINO의 CLS 토큰이 담고 있는 전역적 이미지 표현을 점진적으로 정제하는 Global Context Flow(GCF). 이 진화 과정에서 특징(feature) 공간의 초구면(hyperspherical) 기하를 보존하기 위해, 학습된 속도장(velocity field)을 접공간(tangent space)에 제약하는 Velocity Tangent Projection을 추가로 도입한다. 정렬을 연속 궤적으로 모델링함으로써 DINOde는 이산 MLP 투영에 내재된 매니폴드 얽힘(manifold entanglement)을 피하고, 더 견고한 교차 모달 정렬을 달성한다. 광범위한 실험 결과, DINOde는 기존 방법들을 일관되게 능가하며 여러 OVSS 벤치마크(benchmark)에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/yoon307/DINOde 에서 제공된다.

arXiv:2607.21546v1cs.CV공통 태그 Semantic Segmentation, Contrastive Learning

UnDA: 의료 영상에서 교차 모달 지식 전이를 위한 비쌍 도메인 정렬

UnDA: Unpaired Domain Alignment for Cross-Modal Knowledge Transfer in Medical Imaging

다중 모달 기반 접근법은 서로 다른 모달리티가 상보적인 정보를 제공하기 때문에 다운스트림 태스크에서 단일 모달리티 접근법보다 종종 더 우수한 성능을 보이지만, 실제 시나리오에서는 쌍을 이룬 임상 데이터를 확보하는 것이 여전히 큰 과제로 남아 있다. 교차 모달 지식 증류가 이를 해결하지만, 기존 방법들은 큰 모달리티 간격과 불확실한 소스 도메인 예측으로부터 발생하는 노이즈 전파에 종종 어려움을 겪는다. 이러한 과제를 극복하기 위해, 우리는 비쌍 교차 모달 지식 증류를 위한 앵커 기반 프레임워크인 UnDA를 제안한다. 우리 접근법은 어텐션 기반 풀링 메커니즘을 통해 의미적으로 구조화된 클래스 토큰을 추출하는 백본 불문 정렬 모듈(Alignment Module)을 도입한다. 견고한 지식 전이를 보장하기 위해, 예측 신뢰도에 따라 특징 수준 정렬에 동적으로 가중치를 부여하여 노이즈가 많은 지도를 효과적으로 억제하는 불확실성 가중 최적 수송(Uncertainty-Weighted Optimal Transport, UCT-OT)을 제안한다. 또한, 클래스별 ProtoNCE 목적 함수는 안정적인 프로토타입 메모리를 유지하여 비쌍 배치 전반에 걸쳐 전역 판별력을 강화한다. 엄격한 비쌍 설정 하에서 대표적인 분할(segmentation) 태스크에 대한 평가는 대상 모달리티에서 정확도와 경계 정밀도의 일관된 향상을 보여 주며, 쌍을 이룬 데이터셋 없이도 이질적인 데이터 소스 간에 의미 있는 구조적 지식을 전이할 수 있음을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.