Semantics, Distortion, and Style Matter: Towards Source-free UDA for Panoramic Segmentation
원문 초록
This paper addresses an interesting yet challenging problem -- source-free unsupervised domain adaptation (SFUDA) for pinhole-to-panoramic semantic segmentation -- given only a pinhole image-trained model (i.e., source) and unlabeled panoramic images (i.e., target). Tackling this problem is nontrivial due to the semantic mismatches, style discrepancies, and inevitable distortion of panoramic images. To this end, we propose a novel method that utilizes Tangent Projection (TP) as it has less distortion and meanwhile slits the equirectangular projection (ERP) with a fixed FoV to mimic the pinhole images. Both projections are shown effective in extracting knowledge from the source model. However, the distinct projection discrepancies between source and target domains impede the direct knowledge transfer; thus, we propose a panoramic prototype adaptation module (PPAM) to integrate panoramic prototypes from the extracted knowledge for adaptation. We then impose the loss constraints on both predictions and prototypes and propose a cross-dual attention module (CDAM) at the feature level to better align the spatial and channel characteristics across the domains and projections. Both knowledge extraction and transfer processes are synchronously updated to reach the best performance. Extensive experiments on the synthetic and real-world benchmarks, including outdoor and indoor scenarios, demonstrate that our method achieves significantly better performance than prior SFUDA methods for pinhole-to-panoramic adaptation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬
PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
ICM: 악천후 환경의 도메인 적응을 위한 클래스 내 믹싱
ICM: Intra-class Mixing for Domain Adaptation in Adverse Weather
악천후 조건에서의 시맨틱 분할(semantic segmentation)을 위한 비지도 도메인 적응(UDA)은 극심한 외형 변화로 인해 도메인 격차가 커지고 타깃 도메인 내 의사 레이블(pseudo label)의 신뢰도가 저하되기 때문에 여전히 어려운 과제로 남아 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 클래스 내 믹싱된 이미지와 원본 이미지 간의 예측 일관성을 강제하는 ICM(Intra-Class Mixing Consistency) 프레임워크를 제안합니다. 서로 다른 이미지나 도메인 간의 영역을 결합하여 비현실적인 의미적 불일치를 유발할 수 있었던 기존의 믹싱 기반 일관성 방법들과 달리, ICM은 동일한 이미지 및 의미론적 클래스 내에서 믹싱을 수행하여 일관성 정규화(consistency regularization)를 위한 현실적인 의미론적 배치를 보존합니다. ICM을 통해 본 연구는 시맨틱 분할 분야의 맑은 날씨에서 악천후 환경으로의 비지도 도메인 적응(UDA)에서 최고 성능(SOTA)을 달성했습니다. Cityscapes $\rightarrow$ ACDC 벤치마크에서 제안 기법은 75.7\% mIoU를 달성하여 기존 최고 성능을 +1.9%p 능가하였으며, 까다로운 환경 조건에서도 클래스 혼동을 완화하는 데 효과적임을 입증했습니다. 코드는 보충 자료에서 제공됩니다.
Multiview Contrastive Learning for Unsupervised Domain Adaptation in Brain–Computer Interfaces
A Novel Unsupervised Domain Adaption Method for Depth-Guided Semantic Segmentation Using Coarse-to-Fine Alignment
Pixel-level Intra-domain Adaptation for Semantic Segmentation
PDAM: A Panoptic-Level Feature Alignment Framework for Unsupervised Domain Adaptive Instance Segmentation in Microscopy Images
토론
이 논문과 연결된 포럼 글이 아직 없습니다.