Reducing Domain Gap in Frequency and Spatial domain for Cross-modality Domain Adaptation on Medical Image Segmentation
원문 초록
Unsupervised domain adaptation (UDA) aims to learn a model trained on source domain and performs well on unlabeled target domain. In medical image segmentation field, most existing UDA methods depend on adversarial learning to address the domain gap between different image modalities, which is ineffective due to its complicated training process. In this paper, we propose a simple yet effective UDA method based on frequency and spatial domain transfer uner multi-teacher distillation framework. In the frequency domain, we first introduce non-subsampled contourlet transform for identifying domain-invariant and domain-variant frequency components (DIFs and DVFs), and then keep the DIFs unchanged while replacing the DVFs of the source domain images with that of the target domain images to narrow the domain gap. In the spatial domain, we propose a batch momentum update-based histogram matching strategy to reduce the domain-variant image style bias. Experiments on two cross-modality medical image segmentation datasets (cardiac, abdominal) show that our proposed method achieves superior performance compared to state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ICM: 악천후 환경의 도메인 적응을 위한 클래스 내 믹싱
ICM: Intra-class Mixing for Domain Adaptation in Adverse Weather
악천후 조건에서의 시맨틱 분할(semantic segmentation)을 위한 비지도 도메인 적응(UDA)은 극심한 외형 변화로 인해 도메인 격차가 커지고 타깃 도메인 내 의사 레이블(pseudo label)의 신뢰도가 저하되기 때문에 여전히 어려운 과제로 남아 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 클래스 내 믹싱된 이미지와 원본 이미지 간의 예측 일관성을 강제하는 ICM(Intra-Class Mixing Consistency) 프레임워크를 제안합니다. 서로 다른 이미지나 도메인 간의 영역을 결합하여 비현실적인 의미적 불일치를 유발할 수 있었던 기존의 믹싱 기반 일관성 방법들과 달리, ICM은 동일한 이미지 및 의미론적 클래스 내에서 믹싱을 수행하여 일관성 정규화(consistency regularization)를 위한 현실적인 의미론적 배치를 보존합니다. ICM을 통해 본 연구는 시맨틱 분할 분야의 맑은 날씨에서 악천후 환경으로의 비지도 도메인 적응(UDA)에서 최고 성능(SOTA)을 달성했습니다. Cityscapes $\rightarrow$ ACDC 벤치마크에서 제안 기법은 75.7\% mIoU를 달성하여 기존 최고 성능을 +1.9%p 능가하였으며, 까다로운 환경 조건에서도 클래스 혼동을 완화하는 데 효과적임을 입증했습니다. 코드는 보충 자료에서 제공됩니다.
분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가
Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation
선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.
BrainIAC: 온라인 적응을 통한 이종 MRI 모달리티 전반에서의 대화형 3D 뇌 병변 분할
BrainIAC: Interactive 3D Brain Lesion Segmentation across Heterogeneous MRI Modalities with Online Adaptation
뇌 병변 분할은 의료 영상 분석의 핵심 과제로, 진단, 치료 계획 수립, 장기적인 질환 모니터링에서 결정적인 역할을 수행합니다. 그러나 기존 모델들은 스캐너 하드웨어, 이미징 프로토콜(다양한 MRI 모달리티 조합)의 차이 및 새로운 병리적 특성으로 인해 발생하는 데이터 분포 변화(distribution shift)가 존재하는 실제 임상 현장의 요구 조건을 충족하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 다음 요소들을 통합한 단일 프레임워크인 BrainIAC(Brain lesion Interactive Adaptive Continuously learning segmentation)를 제안합니다: (i) 제로 필링(zero-filling) 및 무작위 모달리티 드롭(random modality dropping)을 통해 다양한 유형의 뇌 병변을 분할하고 이종 모달리티 조합을 처리하도록 학습(training)된 멀티모달 백본 네트워크, (ii) 프롬프트(prompt)가 주어지지 않을 때 완전 자동 예측을 유지하면서 바운딩 박스 및 클릭 프롬프트를 활용하는 3D 대화형 분할(interactive segmentation), (iii) 네트워크 자체의 예측값을 의사 라벨(pseudo label)로 활용하여 지도 학습을 수행하고 추가적인 클릭 중심 가우시안 손실(Click-Centered Gaussian loss)의 안내를 받는 상호작용 중(Mid-Interaction) 적응과 상호작용 후(Post-Interaction) 적응을 결합한 온라인 적응 메커니즘. 저자들이 아는 한, 이는 대화형 분할을 위한 최초의 3D 온라인 적응 방법 중 하나이며, 이종 모달리티 조합 처리와 온라인 적응을 결합한 최초의 연구입니다. 7개의 뇌 MRI 데이터셋(dataset)을 활용한 실험을 통해 제안된 구성 요소들이 상호 보완적이고 시너지 효과를 내는 이점을 제공함을 입증했습니다. 제안 방법은 기존 접근 방식들을 지속적으로 능가하며, 학습 중 보지 못한 모달리티를 포함한 이종 이미징 모달리티 전반은 물론 이전에 보지 못한 뇌 병리 유형에 대해서도 우수한 일반화 성능을 보입니다. 코드 및 3D Slicer 플러그인은 논문 게재 시 https://github.com/WenTXuL/BrainIAC 에 공개될 예정입니다.
프롬프트 기반 수술 개념 분할을 위한 SAM3의 매개변수 효율적 적응
Parameter-Efficient Adaptation of SAM3 for Prompt-Driven Surgical Concept Segmentation
효율적인 수술 분할은 임상 진단, 수술 중 모니터링, 재구성 및 시뮬레이션을 위한 후속 로봇 파이프라인을 가능하게 한다. Segment Anything Model 3(SAM3)과 같은 프롬프트 기반 기반 모델(foundation model)은 자연 이미지에서 강력한 분할 성능을 달성하지만, 수술 데이터는 사전학습 데이터와 도메인 격차를 보여 분할 정확도가 저하된다. 또한 기존 의료 SAM 방법은 전체 매개변수 미세조정을 요구하여 높은 계산 소비와 낮은 효율성을 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 수술 개념 분할을 위해 SAM3의 매개변수 효율적 Low-Rank Adaptation(LoRA) 적응을 제안한다. 우리는 비전 백본을 완전히 동결한 채 프롬프트 인코더, 검출기, 트래커에 저랭크 어댑터를 주입하며, 이는 전체 모델 매개변수의 0.98%만 최적화하고 단일 소비자용 GPU에서 학습을 지원한다. 종합적인 실험을 통해 우리 방법이 제로샷 SAM3 및 기타 주류 기준선(baseline)을 지속적으로 능가함을 보여주며, 생성된 분할 결과는 후속 로봇 수술 장면 재구성 및 물리 시뮬레이션 파이프라인을 지원하기 위해 직접 배포할 수 있다.
ESRVS: 단일 주석 이미지를 이용한 극한 반지도 망막 혈관 분할
ESRVS: Extreme Semi-Supervised Retinal Vessel Segmentation with a Single Annotated Image
의료 영상 분석에서 최소한의 인간 감독으로 학습하는 것은 오랜 목표이며, 밀집된 전문가 주석은 비용이 큽니다. 본 연구는 주석이 달린 이미지 하나와 레이블 없는 이미지 풀을 사용하는 극한 반지도(semi-supervised) 설정에서 망막 혈관 분할을 다룹니다. 우리는 수동 주석을 위해 대표적인 기준 이미지를 선택하고, 대상 도메인에 적응된 DINOv3 특징을 사용하여 혈관 단서를 전이하는 ESRVS를 제안합니다. ESRVS는 다중 세분화 혈관 프로토타입을 구성하고, 프로토타입 유사도 맵과 물리학에서 영감을 받은 사전(prior)을 결합하여 초기 의사 레이블(pseudo-label)을 생성하며, 가중 의사 레이블 학습과 적대적(adversarial) 정제를 통해 전이된 감독을 정제합니다. 8개의 공개 데이터셋에서 ESRVS는 비교된 반지도 방법들이 10~20%의 레이블 데이터를 사용함에도 불구하고, 6개 데이터셋에서 최고의 Dice와 clDice를, 8개 데이터셋 모두에서 최고의 HD95를 달성합니다. Mask2Former와 함께 ESRVS는 평균적으로 완전 감독 Dice의 93.7%와 완전 감독 clDice의 95.1%를 유지합니다. 이러한 결과는 고도로 레이블 효율적인 망막 혈관 분할을 위한 파운데이션 모델(foundation model) 레이블 전파의 잠재력을 보여줍니다. 코드는 https://github.com/IAANNH/ESRVS 에서 이용할 수 있습니다.
MetaFormer and CNN Hybrid Model for Polyp Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.