융합이 실패할 때: 다중 모달 의료 영상 분할을 위한 손상 인지 재균형 융합
When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
다중 모달 의료 이미지 분할(image segmentation)은 상호 보완적인 진단 정보를 활용하지만, 공간적으로 정렬된 입력들의 품질이 서로 다를 경우 융합(fusion)이 단일 모달리티 베이스라인보다 낮은 성능을 보일 수 있다. 여기서 "손상(corruption)"은 주로 정렬 오류나 모달리티의 완전한 부재가 아니라 해상도 저하로 인한 품질 열화를 의미하며, 합성 노이즈는 보조적인 설정으로만 평가한다. 우리는 최적화와 추론(inference) 사이의 중대한 불일치를 확인했다. 열화된 모달리티는 학습(training) 중 약한 업데이트만 받으면서도 예측에는 상당한 영향을 미칠 수 있으며, 이는 융합에 대한 능동적인 간섭이 있음을 시사한다. 우리는 이러한 실패의 원인을 리샘플링으로 인한 특징(feature) 손상과 최적화 바이어스(bias)로 보며, 노이즈가 섞인 특징이 스킵 연결(skip connection)을 통해 전파되어 신뢰할 수 없는 모달리티 선택을 유도한다고 설명한다. 이에 우리는 특징 전달 과정에서 손상을 억제하고 고수준 융합 단계에서 모달리티별 기여도를 재균형하는 손상 인지 재균형 융합(Corruption-aware Rebalanced Fusion) 프레임워크인 CoReFuse-Med를 제안한다. EPVS, BraTS, WMH에서 여러 Z축 슬라이스 유지 비율과 보조 노이즈 테스트를 포함한 실험을 수행한 결과, 모달리티 간 품질 차이가 있는 상황에서 정확도와 견고성이 향상됨을 확인했다. 코드는 https://github.com/lrever/CoReFuse 에서 확인할 수 있다.