A Multi-View Dynamic Fusion Framework: How to Improve the Multimodal Brain Tumor Segmentation from Multi-Views?
원문 초록
When diagnosing the brain tumor, doctors usually make a diagnosis by observing multimodal brain images from the axial view, the coronal view and the sagittal view, respectively. And then they make a comprehensive decision to confirm the brain tumor based on the information obtained from multi-views. Inspired by this diagnosing process and in order to further utilize the 3D information hidden in the dataset, this paper proposes a multi-view dynamic fusion framework to improve the performance of brain tumor segmentation. The proposed framework consists of 1) a multi-view deep neural network architecture, which represents multi learning networks for segmenting the brain tumor from different views and each deep neural network corresponds to multi-modal brain images from one single view and 2) the dynamic decision fusion method, which is mainly used to fuse segmentation results from multi-views as an integrate one and two different fusion methods, the voting method and the weighted averaging method, have been adopted to evaluate the fusing process. Moreover, the multi-view fusion loss, which consists of the segmentation loss, the transition loss and the decision loss, is proposed to facilitate the training process of multi-view learning networks so as to keep the consistency of appearance and space, not only in the process of fusing segmentation results, but also in the process of training the learning network. \par By evaluating the proposed framework on BRATS 2015 and BRATS 2018, it can be found that the fusion results from multi-views achieve a better performance than the segmentation result from the single view and the effectiveness of proposed multi-view fusion loss has also been proved. Moreover, the proposed framework achieves a better segmentation performance and a higher efficiency compared to other counterpart methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Flexible Fusion Network for Multi-modal Brain Tumor Segmentation
D3Seg: 모달리티 누락 환경에서의 뇌종양 분할을 위한 의존성 인식 확산 모델
D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities
다중 매개변수 MRI를 활용한 정확한 뇌종양 분할은 효과적인 치료 계획 수립에 필수적이다. 그러나 임상 환경에서는 모든 MRI 시퀀스를 완전히 획득하는 것이 항상 가능하지 않다. 특정 MRI 모달리티의 부재는 기존 분할 방법의 성능을 크게 저하시키는데, 이러한 방법들은 일반적으로 단순한 특징 연결(concatenation)이나 직접적인 융합 전략에 의존한다. 이러한 한계를 해결하기 위해, 본 논문은 모달리티 누락 환경에서 안정적인 성능을 유지하도록 설계된 새로운 분할 모델 D3Seg를 제안한다. D3Seg는 고차 모달리티 간 의존성을 모델링하는 Multi-hop Modality Graph Fusion(MMGF), 잠재 공간에서 누락된 T1ce 및 FLAIR 특징 표현을 보완하는 경량 확산 기반 대체(imputation) 메커니즘, 그리고 지배적 클래스의 과신(overconfidence)을 완화하고 과소 표현된 종양 하위 영역의 경계 구분을 개선하는 확률 공간 결정 정제(probability-space decision refinement)를 도입한다. 제안된 D3Seg 모델은 BraTS 2023 Glioma를 주요 벤치마크로 평가하고, 종양 병리 전반에 걸친 일반화 성능을 평가하기 위해 외부 데이터셋인 BraTS 2023 Meningioma 코호트의 일부에서 추가 테스트를 수행한다. 다양한 모달리티 누락 조건에서 최신 모델들과 비교한 결과, 제안된 모델은 BraTS Glioma 데이터셋에서 현재 최고 성능 모델 대비 여러 모달리티 누락 구성에서 강화 종양(ET, enhancing tumor)에 대해 약 1.5~2.0%, 종양 핵심부(TC, tumor core)에 대해 약 1.0%의 Dice 점수 향상을 달성한다. BraTS Meningioma 데이터셋에서의 코호트 간 평가는 제안된 모델의 일반화 가능성을 입증하며, 여러 모달리티 누락 구성에서 난이도가 높은 TC 및 ET 영역에서 각각 약 1.5~3.0%, 1.5~6.5%의 일관된 성능 향상을 보인다.
RobU-Net: a heuristic robust multi-class brain tumor segmentation approaches for MRI scans
3D-DDA: 3D Dual-Domain Attention for Brain Tumor Segmentation
Transfer learning for automatic brain tumor classification Using MRI Images.
MA-Net: A Multi-Scale Attention Network for Liver and Tumor Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.