Integrating Edges into U-Net Models with Explainable Activation Maps for Brain Tumor Segmentation using MR Images
원문 초록
Manual delineation of tumor regions from magnetic resonance (MR) images is time-consuming, requires an expert, and is prone to human error. In recent years, deep learning models have been the go-to approach for the segmentation of brain tumors. U-Net and its' variants for semantic segmentation of medical images have achieved good results in the literature. However, U-Net and its' variants tend to over-segment tumor regions and may not accurately segment the tumor edges. The edges of the tumor are as important as the tumor regions for accurate diagnosis, surgical precision, and treatment planning. In the proposed work, the authors aim to extract edges from the ground truth using a derivative-like filter followed by edge reconstruction to obtain an edge ground truth in addition to the brain tumor ground truth. Utilizing both ground truths, the author studies several U-Net and its' variant architectures with and without tumor edges ground truth as a target along with the tumor ground truth for brain tumor segmentation. The author used the BraTS2020 benchmark dataset to perform the study and the results are tabulated for the dice and Hausdorff95 metrics. The mean and median metrics are calculated for the whole tumor (WT), tumor core (TC), and enhancing tumor (ET) regions. Compared to the baseline U-Net and its variants, the models that learned edges along with the tumor regions performed well in core tumor regions in both training and validation datasets. The improved performance of edge-trained models trained on baseline models like U-Net and V-Net achieved performance similar to baseline state-of-the-art models like Swin U-Net and hybrid MR-U-Net. The edge-target trained models are capable of generating edge maps that can be useful for treatment planning. Additionally, for further explainability of the results, the activation map generated by the hybrid MR-U-Net has been studied.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RobU-Net: a heuristic robust multi-class brain tumor segmentation approaches for MRI scans
Fed-ADApt: 자원 인지형 의료 이미지 분할을 위한 연합 애니타임 깊이 적응
Fed-ADApt: Federated Anytime Depth Adaptation for Resource-Aware Medical Image Segmentation
연합학습(FL)은 환자의 원시 데이터를 공유하지 않고도 의료 이미지 분할 모델의 협력 학습을 가능하게 하지만, 기존 접근법들은 기관 간 연산 자원 예산이 균일하다고 가정하여 자원이 부족한 기관의 참여를 제한합니다. 본 논문에서는 저비용 연산 환경의 학습과 추론을 함께 다루는 UNet 기반 분할용 깊이 적응형 연합 프레임워크인 Fed-ADApt를 제안합니다. Fed-ADApt는 다중 깊이 지도 학습과 계층적 깊이별 집계를 통합하여, 각 기관이 로컬 연산 예산에 맞춰 학습하는 동시에 배포 시 동적 깊이 선택을 지원하는 글로벌 모델에 기여할 수 있도록 합니다. 다중 기관 2D 망막 안저 디스크 분할 및 3D 뇌종양 분할 태스크에서 Fed-ADApt를 평가했습니다. 두 태스크 모두에서 연합 협력은 도메인 이동에 대한 견고성을 대폭 향상시켰습니다. Fed-ADApt는 3D에서 전체 자원을 사용한 FedAvg 성능과 대등했으며, 2D에서는 평균 Dice가 4.7% 감소하는 수준의 경쟁력 있는 성능을 달성한 동시에 평균 추론 비용을 3D에서 19.5%, 2D에서 34.5% 절감하고 자원이 가장 제약된 기관에서 학습 비용을 98% 대폭 줄였습니다. 중요한 점은, Fed-ADApt가 전체 용량의 모델을 학습할 수 없는 저자원 기관도 연합에 참여할 수 있도록 지원하면서 유리한 정확도-효율성 트레이드오프 아래 경쟁력 있는 글로벌 성능을 유지한다는 것입니다. Fed-ADApt는 학습 및 추론 연산 예산을 모두 고려함으로써 이종의 임상 환경과 에지 기반 이미징 환경 전반에서 연합 의료 이미지 분할을 위한 실용적이고 공평한 해결책을 제공합니다.
VGG16-MCA UNet: 디코더 측 채널 어텐션을 활용한 2D FLAIR MRI 전체 종양 분할
VGG16-MCA UNet: Whole-Tumor Segmentation in 2D FLAIR MRI with Decoder-Side Channel Attention
자동 뇌종양 분할(segmentation)은 진단, 치료 계획 수립, 질병 진행 모니터링을 지원하지만, 이질적인 종양과 제한된 주석 데이터 전반에 걸쳐 일반화되는 모델을 구축하는 것은 여전히 어려운 과제이다. 본 논문에서는 ImageNet으로 사전학습(pre-training)된 VGG16 인코더와, 각 스킵 연결(skip-connection) 융합 이후 다중 채널 어텐션(Multi-Channel Attention, MCA) 모듈이 특징을 재보정하는 디코더를 결합한 하이브리드 아키텍처인 VGG16-MCA UNet을 제안한다. 이 모델은 심각한 전경-배경 불균형에 대응하기 위해 Focal Tversky 손실(loss)로 학습된다. 본 모델은 BraTS 2020 벤치마크와 LGG MRI Segmentation 데이터셋(dataset)이라는 두 개의 공개 데이터셋에서 종양이 존재하는 슬라이스를 대상으로, 2D, FLAIR 단일 시퀀스 전체 종양 분할기로서 평가된다. 5겹 교차 검증(cross-validation)과 다섯 개 폴드(fold) 모델의 가중치를 평균하여 형성한 단일 네트워크를 사용하여, 본 방법은 홀드아웃(held-out)한 BraTS 2020 분할(split)에서 95.10%, LGG에서 88.32%의 집계 픽셀 수준 Dice(F1) 점수를 달성하였다. 이 점수는 사례별로 평균을 낸 것이 아니라 모든 테스트 픽셀을 단일 혼동 행렬(confusion matrix)로 통합하여 계산된 것이므로, BraTS 챌린지 프로토콜에서 사용하는 사례별 평균 Dice와 직접 비교할 수 없다. 모든 분할(partition)은 환자 단위가 아니라 개별 슬라이스 단위로 나뉘었으므로, 모든 환자가 학습과 테스트 양쪽에 슬라이스를 제공한다. 따라서 위의 수치는 이미 알려진 환자 내에서의 보간(interpolation)을 측정한 것이며, 새로운 환자에 대한 일반화가 아니라 상한선(upper bound)으로 해석되어야 한다. 본 모델은 6GB NVIDIA RTX 2060 단일 GPU에서 256x256 슬라이스를 66.32ms에 분할하며, 이는 MCA가 없는 동등한 VGG16-UNet보다 약 8ms 더 긴 시간이다. 우리는 정확하게 명시되고 재현 가능한 2D FLAIR 기준선(baseline)을 제공하기 위해, 분할(split) 기록을 공개하고 프로토콜을 전체적으로 보고한다.
전신 컴퓨터단층촬영에서 사용자 프롬프트 사전 정보가 반자동 암 병변 분할에 미치는 영향
Effect of User-Prompted Priors on Semi-Automated Cancer Lesion Segmentation in Whole-Body Computed Tomography
임상 종양학 연구에서 전이성 암은 일반적으로 "고형 종양 반응 평가 기준"(Response Evaluation Criteria in Solid Tumors, RECIST)을 사용하여 평가되며, 이 기준에서는 최대 5개의 병변 직경을 측정하고 치료 과정에서 추적한다. 그러나 RECIST는 전체 생존과의 상관관계가 제한적이다. 총 종양 부피(total tumour volume, TTV)는 더 강력한 예측 변수이지만, 일반적으로 모든 병변에 대한 수동 그라운드 트루스(ground-truth) 분할에 의존하며, 이는 시간이 많이 소요되고 전문적인 영역 지식이 필요하다. 바운딩 박스(bounding box) 및 단일 슬라이스 윤곽선과 같은 사용자 프롬프트 사전 정보를 자동 분할 방법의 입력으로 활용하는 반자동 접근법은 그라운드 트루스 분할 생성을 촉진할 수 있다. 본 연구는 전신 컴퓨터단층촬영(CT)에서 다양한 사용자 프롬프트 사전 정보가 반자동 암 병변 분할 성능에 미치는 영향을 조사한다. 3-겹 교차 검증 및 외부 테스트 전반에 걸쳐, 더 복잡한 공간적 사전 정보가 일관되게 성능을 향상시켰으며, 세 직교 평면(축상, 관상, 시상)의 윤곽선 사전 정보가 최상의 결과를 달성했다. 외부 테스트(n=3865 병변)에서 이 접근법은 평균 Dice 점수 0.882를 달성했으며, 공간적 사전 정보가 없는 기준선 모델의 평균 Dice 점수 0.671과 비교된다. 이러한 결과는 다평면 직교 사용자 프롬프트 사전 정보의 사용이 반자동 종양 병변 분할을 개선하고 고품질 볼륨 그라운드 트루스 데이터의 효율적 생성을 지원할 수 있음을 시사한다.
3D-DDA: 3D Dual-Domain Attention for Brain Tumor Segmentation
Flexible Fusion Network for Multi-modal Brain Tumor Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.