A Tri-attention Fusion Guided Multi-modal Segmentation Network
원문 초록
In the field of multimodal segmentation, the correlation between different modalities can be considered for improving the segmentation results. Considering the correlation between different MR modalities, in this paper, we propose a multi-modality segmentation network guided by a novel tri-attention fusion. Our network includes N model-independent encoding paths with N image sources, a tri-attention fusion block, a dual-attention fusion block, and a decoding path. The model independent encoding paths can capture modality-specific features from the N modalities. Considering that not all the features extracted from the encoders are useful for segmentation, we propose to use dual attention based fusion to re-weight the features along the modality and space paths, which can suppress less informative features and emphasize the useful ones for each modality at different positions. Since there exists a strong correlation between different modalities, based on the dual attention fusion block, we propose a correlation attention module to form the tri-attention fusion block. In the correlation attention module, a correlation description block is first used to learn the correlation between modalities and then a constraint based on the correlation is used to guide the network to learn the latent correlated features which are more relevant for segmentation. Finally, the obtained fused feature representation is projected by the decoder to obtain the segmentation results. Our experiment results tested on BraTS 2018 dataset for brain tumor segmentation demonstrate the effectiveness of our proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Flexible Fusion Network for Multi-modal Brain Tumor Segmentation
D3Seg: 모달리티 누락 환경에서의 뇌종양 분할을 위한 의존성 인식 확산 모델
D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities
다중 매개변수 MRI를 활용한 정확한 뇌종양 분할은 효과적인 치료 계획 수립에 필수적이다. 그러나 임상 환경에서는 모든 MRI 시퀀스를 완전히 획득하는 것이 항상 가능하지 않다. 특정 MRI 모달리티의 부재는 기존 분할 방법의 성능을 크게 저하시키는데, 이러한 방법들은 일반적으로 단순한 특징 연결(concatenation)이나 직접적인 융합 전략에 의존한다. 이러한 한계를 해결하기 위해, 본 논문은 모달리티 누락 환경에서 안정적인 성능을 유지하도록 설계된 새로운 분할 모델 D3Seg를 제안한다. D3Seg는 고차 모달리티 간 의존성을 모델링하는 Multi-hop Modality Graph Fusion(MMGF), 잠재 공간에서 누락된 T1ce 및 FLAIR 특징 표현을 보완하는 경량 확산 기반 대체(imputation) 메커니즘, 그리고 지배적 클래스의 과신(overconfidence)을 완화하고 과소 표현된 종양 하위 영역의 경계 구분을 개선하는 확률 공간 결정 정제(probability-space decision refinement)를 도입한다. 제안된 D3Seg 모델은 BraTS 2023 Glioma를 주요 벤치마크로 평가하고, 종양 병리 전반에 걸친 일반화 성능을 평가하기 위해 외부 데이터셋인 BraTS 2023 Meningioma 코호트의 일부에서 추가 테스트를 수행한다. 다양한 모달리티 누락 조건에서 최신 모델들과 비교한 결과, 제안된 모델은 BraTS Glioma 데이터셋에서 현재 최고 성능 모델 대비 여러 모달리티 누락 구성에서 강화 종양(ET, enhancing tumor)에 대해 약 1.5~2.0%, 종양 핵심부(TC, tumor core)에 대해 약 1.0%의 Dice 점수 향상을 달성한다. BraTS Meningioma 데이터셋에서의 코호트 간 평가는 제안된 모델의 일반화 가능성을 입증하며, 여러 모달리티 누락 구성에서 난이도가 높은 TC 및 ET 영역에서 각각 약 1.5~3.0%, 1.5~6.5%의 일관된 성능 향상을 보인다.
RobU-Net: a heuristic robust multi-class brain tumor segmentation approaches for MRI scans
3D-DDA: 3D Dual-Domain Attention for Brain Tumor Segmentation
Transfer learning for automatic brain tumor classification Using MRI Images.
MA-Net: A Multi-Scale Attention Network for Liver and Tumor Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.