arXiv:2609.10261v1 cs.CV

융합이 실패할 때: 다중 모달 의료 영상 분할을 위한 손상 인지 재균형 융합

When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation

Yuchen Pei, Xiaoyu Hu, Yixiong Zou, Dingwen Hu, Hui Chu, Yutao Ma, Shijun Qiu, Gang Li

제출 2026-09-09

한국어 초록

다중 모달 의료 이미지 분할(image segmentation)은 상호 보완적인 진단 정보를 활용하지만, 공간적으로 정렬된 입력들의 품질이 서로 다를 경우 융합(fusion)이 단일 모달리티 베이스라인보다 낮은 성능을 보일 수 있다. 여기서 "손상(corruption)"은 주로 정렬 오류나 모달리티의 완전한 부재가 아니라 해상도 저하로 인한 품질 열화를 의미하며, 합성 노이즈는 보조적인 설정으로만 평가한다. 우리는 최적화와 추론(inference) 사이의 중대한 불일치를 확인했다. 열화된 모달리티는 학습(training) 중 약한 업데이트만 받으면서도 예측에는 상당한 영향을 미칠 수 있으며, 이는 융합에 대한 능동적인 간섭이 있음을 시사한다. 우리는 이러한 실패의 원인을 리샘플링으로 인한 특징(feature) 손상과 최적화 바이어스(bias)로 보며, 노이즈가 섞인 특징이 스킵 연결(skip connection)을 통해 전파되어 신뢰할 수 없는 모달리티 선택을 유도한다고 설명한다. 이에 우리는 특징 전달 과정에서 손상을 억제하고 고수준 융합 단계에서 모달리티별 기여도를 재균형하는 손상 인지 재균형 융합(Corruption-aware Rebalanced Fusion) 프레임워크인 CoReFuse-Med를 제안한다. EPVS, BraTS, WMH에서 여러 Z축 슬라이스 유지 비율과 보조 노이즈 테스트를 포함한 실험을 수행한 결과, 모달리티 간 품질 차이가 있는 상황에서 정확도와 견고성이 향상됨을 확인했다. 코드는 https://github.com/lrever/CoReFuse 에서 확인할 수 있다.

원문 초록

Multi-modal medical image segmentation leverages complementary diagnostic information, yet fusion can underperform single-modality baselines when spatially aligned inputs differ in quality. Here, "corruption" primarily denotes resolution-induced degradation rather than misalignment or complete modality absence, while synthetic noise is evaluated only as an auxiliary setting. We identify a critical optimization-inference inconsistency: degraded modalities can receive weak training updates yet substantially affect predictions, indicating active interference with fusion. We attribute this failure to resampling-induced feature corruption and optimization bias, where noisy features propagate through skip connections and encourage unreliable modality selection. We therefore propose CoReFuse-Med, a Corruption-aware Rebalanced Fusion framework that suppresses corruption during feature transmission and rebalances modality contributions during high-level fusion. Experiments on EPVS, BraTS, and WMH, including multiple Z-axis slice-retention ratios and an auxiliary noise test, demonstrate improved accuracy and robustness under modality-quality discrepancies. Our code is available at https://github.com/lrever/CoReFuse.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.10261v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.