융합이 실패할 때: 다중 모달 의료 영상 분할을 위한 손상 인지 재균형 융합
When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
한국어 초록
다중 모달 의료 이미지 분할(image segmentation)은 상호 보완적인 진단 정보를 활용하지만, 공간적으로 정렬된 입력들의 품질이 서로 다를 경우 융합(fusion)이 단일 모달리티 베이스라인보다 낮은 성능을 보일 수 있다. 여기서 "손상(corruption)"은 주로 정렬 오류나 모달리티의 완전한 부재가 아니라 해상도 저하로 인한 품질 열화를 의미하며, 합성 노이즈는 보조적인 설정으로만 평가한다. 우리는 최적화와 추론(inference) 사이의 중대한 불일치를 확인했다. 열화된 모달리티는 학습(training) 중 약한 업데이트만 받으면서도 예측에는 상당한 영향을 미칠 수 있으며, 이는 융합에 대한 능동적인 간섭이 있음을 시사한다. 우리는 이러한 실패의 원인을 리샘플링으로 인한 특징(feature) 손상과 최적화 바이어스(bias)로 보며, 노이즈가 섞인 특징이 스킵 연결(skip connection)을 통해 전파되어 신뢰할 수 없는 모달리티 선택을 유도한다고 설명한다. 이에 우리는 특징 전달 과정에서 손상을 억제하고 고수준 융합 단계에서 모달리티별 기여도를 재균형하는 손상 인지 재균형 융합(Corruption-aware Rebalanced Fusion) 프레임워크인 CoReFuse-Med를 제안한다. EPVS, BraTS, WMH에서 여러 Z축 슬라이스 유지 비율과 보조 노이즈 테스트를 포함한 실험을 수행한 결과, 모달리티 간 품질 차이가 있는 상황에서 정확도와 견고성이 향상됨을 확인했다. 코드는 https://github.com/lrever/CoReFuse 에서 확인할 수 있다.
원문 초록
Multi-modal medical image segmentation leverages complementary diagnostic information, yet fusion can underperform single-modality baselines when spatially aligned inputs differ in quality. Here, "corruption" primarily denotes resolution-induced degradation rather than misalignment or complete modality absence, while synthetic noise is evaluated only as an auxiliary setting. We identify a critical optimization-inference inconsistency: degraded modalities can receive weak training updates yet substantially affect predictions, indicating active interference with fusion. We attribute this failure to resampling-induced feature corruption and optimization bias, where noisy features propagate through skip connections and encourage unreliable modality selection. We therefore propose CoReFuse-Med, a Corruption-aware Rebalanced Fusion framework that suppresses corruption during feature transmission and rebalances modality contributions during high-level fusion. Experiments on EPVS, BraTS, and WMH, including multiple Z-axis slice-retention ratios and an auxiliary noise test, demonstrate improved accuracy and robustness under modality-quality discrepancies. Our code is available at https://github.com/lrever/CoReFuse.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.10261v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.