arXiv:2204.08399

Unsupervised Contrastive Domain Adaptation for Semantic Segmentation

Feihu Zhang, Vladlen Koltun, Philip Torr, René Ranftl, Stephan R. Richter

제출 2022-04-18

원문 초록

Semantic segmentation models struggle to generalize in the presence of domain shift. In this paper, we introduce contrastive learning for feature alignment in cross-domain adaptation. We assemble both in-domain contrastive pairs and cross-domain contrastive pairs to learn discriminative features that align across domains. Based on the resulting well-aligned feature representations we introduce a label expansion approach that is able to discover samples from hard classes during the adaptation process to further boost performance. The proposed approach consistently outperforms state-of-the-art methods for domain adaptation. It achieves 60.2% mIoU on the Cityscapes dataset when training on the synthetic GTA5 dataset together with unlabeled Cityscapes images.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01403v1cs.AI공통 태그 Semantic Segmentation, Contrastive Learning

대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화

Contrastive Attention Mitigates Spectral Bias in Spiking Transformers

스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.

arXiv:2610.01589v1cs.CV공통 태그 Semantic Segmentation, Domain Adaptation

PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬

PAGER: Partial-to-global Alignment via Geometric and Relational Distillation

사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.

arXiv:2609.27462v1cs.CV공통 태그 Semantic Segmentation, Contrastive Learning

다시점 객체 연관 및 경계 정제를 통한 강건한 개방 어휘 3D 분할을 위한 Hybrid Gaussians

Hybrid Gaussians for Robust Open-Vocabulary 3D Segmentation with Multi-View Object Association and Boundary Refinement

개방 어휘 3D 분할(open-vocabulary 3D segmentation)은 자유 형식 텍스트 질의로 객체를 위치시키지만, 실제 이미지 시퀀스에서는 여전히 어렵다. 불완전하거나 노이즈가 있는 2D 지도(supervision)는 다시점 정체성 할당을 불안정하게 하고, 전 장면 의미 학습은 객체 수준 판별력을 약화시킨다. 본 논문은 객체 연관과 언어 정렬 의미를 공동으로 모델링하는 통합 3D 표현인 Hybrid Gaussians를 제안한다. Multi-View Object Association 메커니즘은 Observation Fusion과 Semantic Contrastive Learning을 결합하여 정체성 일관성과 의미적 판별력을 높인다. Boundary Reconstruction Optimization은 지역 경계 구조를 추가로 정제하여 윤곽 품질을 개선한다. LERF와 3D-OVS에서의 실험은 강한 정량·정성 성능을 보여준다. 본 방법은 LERF에서 59.1% mIoU를 달성하여 기준선 대비 13.4% 상대 향상을 얻는다. 프로젝트 페이지: https://nora202.github.io/hybridgaussians.

arXiv:2609.27533v1cs.CV공통 태그 Semantic Segmentation, Domain Adaptation

ICM: 악천후 환경의 도메인 적응을 위한 클래스 내 믹싱

ICM: Intra-class Mixing for Domain Adaptation in Adverse Weather

악천후 조건에서의 시맨틱 분할(semantic segmentation)을 위한 비지도 도메인 적응(UDA)은 극심한 외형 변화로 인해 도메인 격차가 커지고 타깃 도메인 내 의사 레이블(pseudo label)의 신뢰도가 저하되기 때문에 여전히 어려운 과제로 남아 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 클래스 내 믹싱된 이미지와 원본 이미지 간의 예측 일관성을 강제하는 ICM(Intra-Class Mixing Consistency) 프레임워크를 제안합니다. 서로 다른 이미지나 도메인 간의 영역을 결합하여 비현실적인 의미적 불일치를 유발할 수 있었던 기존의 믹싱 기반 일관성 방법들과 달리, ICM은 동일한 이미지 및 의미론적 클래스 내에서 믹싱을 수행하여 일관성 정규화(consistency regularization)를 위한 현실적인 의미론적 배치를 보존합니다. ICM을 통해 본 연구는 시맨틱 분할 분야의 맑은 날씨에서 악천후 환경으로의 비지도 도메인 적응(UDA)에서 최고 성능(SOTA)을 달성했습니다. Cityscapes $\rightarrow$ ACDC 벤치마크에서 제안 기법은 75.7\% mIoU를 달성하여 기존 최고 성능을 +1.9%p 능가하였으며, 까다로운 환경 조건에서도 클래스 혼동을 완화하는 데 효과적임을 입증했습니다. 코드는 보충 자료에서 제공됩니다.

arXiv:2609.17068v2cs.CV공통 태그 Semantic Segmentation, Domain Adaptation

분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가

Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation

선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.

arXiv:2609.23026v1cs.CV공통 태그 Semantic Segmentation, Domain Adaptation

BrainIAC: 온라인 적응을 통한 이종 MRI 모달리티 전반에서의 대화형 3D 뇌 병변 분할

BrainIAC: Interactive 3D Brain Lesion Segmentation across Heterogeneous MRI Modalities with Online Adaptation

뇌 병변 분할은 의료 영상 분석의 핵심 과제로, 진단, 치료 계획 수립, 장기적인 질환 모니터링에서 결정적인 역할을 수행합니다. 그러나 기존 모델들은 스캐너 하드웨어, 이미징 프로토콜(다양한 MRI 모달리티 조합)의 차이 및 새로운 병리적 특성으로 인해 발생하는 데이터 분포 변화(distribution shift)가 존재하는 실제 임상 현장의 요구 조건을 충족하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 다음 요소들을 통합한 단일 프레임워크인 BrainIAC(Brain lesion Interactive Adaptive Continuously learning segmentation)를 제안합니다: (i) 제로 필링(zero-filling) 및 무작위 모달리티 드롭(random modality dropping)을 통해 다양한 유형의 뇌 병변을 분할하고 이종 모달리티 조합을 처리하도록 학습(training)된 멀티모달 백본 네트워크, (ii) 프롬프트(prompt)가 주어지지 않을 때 완전 자동 예측을 유지하면서 바운딩 박스 및 클릭 프롬프트를 활용하는 3D 대화형 분할(interactive segmentation), (iii) 네트워크 자체의 예측값을 의사 라벨(pseudo label)로 활용하여 지도 학습을 수행하고 추가적인 클릭 중심 가우시안 손실(Click-Centered Gaussian loss)의 안내를 받는 상호작용 중(Mid-Interaction) 적응과 상호작용 후(Post-Interaction) 적응을 결합한 온라인 적응 메커니즘. 저자들이 아는 한, 이는 대화형 분할을 위한 최초의 3D 온라인 적응 방법 중 하나이며, 이종 모달리티 조합 처리와 온라인 적응을 결합한 최초의 연구입니다. 7개의 뇌 MRI 데이터셋(dataset)을 활용한 실험을 통해 제안된 구성 요소들이 상호 보완적이고 시너지 효과를 내는 이점을 제공함을 입증했습니다. 제안 방법은 기존 접근 방식들을 지속적으로 능가하며, 학습 중 보지 못한 모달리티를 포함한 이종 이미징 모달리티 전반은 물론 이전에 보지 못한 뇌 병리 유형에 대해서도 우수한 일반화 성능을 보입니다. 코드 및 3D Slicer 플러그인은 논문 게재 시 https://github.com/WenTXuL/BrainIAC 에 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.