Self-Supervised-RCNN for Medical Image Segmentation with Limited Data Annotation
원문 초록
Many successful methods developed for medical image analysis that are based on machine learning use supervised learning approaches, which often require large datasets annotated by experts to achieve high accuracy. However, medical data annotation is time-consuming and expensive, especially for segmentation tasks. To solve the problem of learning with limited labeled medical image data, an alternative deep learning training strategy based on self-supervised pretraining on unlabeled MRI scans is proposed in this work. Our pretraining approach first, randomly applies different distortions to random areas of unlabeled images and then predicts the type of distortions and loss of information. To this aim, an improved version of Mask-RCNN architecture has been adapted to localize the distortion location and recover the original image pixels. The effectiveness of the proposed method for segmentation tasks in different pre-training and fine-tuning scenarios is evaluated based on the Osteoarthritis Initiative dataset. Using this self-supervised pretraining method improved the Dice score by 20% compared to training from scratch. The proposed self-supervised learning is simple, effective, and suitable for different ranges of medical image analysis tasks including anomaly detection, segmentation, and classification.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Crosslink-Net: Double-Branch Encoder Network via Fusing Vertical and Horizontal Convolutions for Medical Image Segmentation
확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성
Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis
확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.
nnFoundation: 방사선학을 위한 3D 파운데이션 모델
nnFoundation: 3D Foundation Models for Radiology
방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.
MedRSI: 임상적으로 정렬된 자기 진화를 통한 의료용 에이전트의 재귀적 자기 개선
MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution
의료용 에이전트(agent)는 범용 추론 모델과 특화된 임상 도구를 점진적으로 결합하고 있으나, 그 능력은 배포 전 임상의와 엔지니어가 설계한 수준에 대부분 고정되어 있습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 에이전트가 자신의 실패로부터 학습(training)하고 자율적으로 능력을 확장하는 다른 패러다임을 제공하지만, RSI를 의료 분야에 직접 적용하는 것은 근본적인 안전성(safety) 문제를 초래합니다. 본 논문에서는 도구 조합과 태스크별 모델 학습을 통해 진단 실패를 새로운 임상 능력으로 지속적으로 전환하는 최초의 의료용 재귀적 자기 개선 프레임워크인 MedRSI를 소개합니다. 임상 진료 현장에서 영감을 얻은 MedRSI는 임상적으로 정렬(alignment)된 자기 진화를 위한 두 가지 메커니즘을 도입합니다. 첫째, 임상 비용 인식 기반 실패 우선순위화(clinical-cost-aware failure prioritization)는 단순한 빈도 대신 잠재적인 임상적 결과에 따라 오류에 대한 개선 방향을 설정합니다. 둘째, 신속한 발견과 보수적 등록(fast discovery with slow registration)은 빠른 능력 창출과 보수적 도입을 분리하여, 후속 환자 코호트 전반에서 지속적인 이점을 입증한 후에만 새로운 도구가 영구 에이전트에 반영되도록 합니다. 공개 녹내장 및 심장 질환 벤치마크(benchmark)와 두 가지 비공개 임상 태스크 전반에서 MedRSI는 분할, 측정, 예측, 멀티모달 추론 및 생성 능력을 점진적으로 발전시키며, 수작업으로 설계된 의료용 에이전트를 능가하고 원래 설계자가 예상하지 못한 임상 문제에 대한 솔루션을 자율적으로 발견합니다. 본 연구 결과는 의료용 에이전트가 배포 전에 지정된 능력에 국한될 필요가 없음을 보여줍니다. 즉, 무엇을 개선하고 무엇을 유지할지 통제하는 임상적으로 기반을 둔(grounded) 메커니즘을 통해 진단 경험으로부터 새로운 능력을 지속적으로 구축, 검증 및 축적할 수 있습니다. 코드는 https://github.com/ImprintLab/MedRSI 에서 확인할 수 있습니다.
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
DEU-Net: Dual-Encoder U-Net for Automated Skin Lesion Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.