Diminishing Uncertainty within the Training Pool: Active Learning for Medical Image Segmentation
원문 초록
Active learning is a unique abstraction of machine learning techniques where the model/algorithm could guide users for annotation of a set of data points that would be beneficial to the model, unlike passive machine learning. The primary advantage being that active learning frameworks select data points that can accelerate the learning process of a model and can reduce the amount of data needed to achieve full accuracy as compared to a model trained on a randomly acquired data set. Multiple frameworks for active learning combined with deep learning have been proposed, and the majority of them are dedicated to classification tasks. Herein, we explore active learning for the task of segmentation of medical imaging data sets. We investigate our proposed framework using two datasets: 1.) MRI scans of the hippocampus, 2.) CT scans of pancreas and tumors. This work presents a query-by-committee approach for active learning where a joint optimizer is used for the committee. At the same time, we propose three new strategies for active learning: 1.) increasing frequency of uncertain data to bias the training data set; 2.) Using mutual information among the input images as a regularizer for acquisition to ensure diversity in the training dataset; 3.) adaptation of Dice log-likelihood for Stein variational gradient descent (SVGD). The results indicate an improvement in terms of data reduction by achieving full accuracy while only using 22.69 % and 48.85 % of the available data for each dataset, respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
슬라이드 수준 능동 학습을 통한 H&E 이미지 어노테이션 부담 감소
Slide-Level Active Learning Reduces Annotation Burden in H&E images
심층 학습 기반 조직병리학 전체 슬라이드 이미지(WSI) 분할은 대량의 픽셀 수준 어노테이션을 필요로 하며, 이를 획득하는 데는 비용과 시간이 많이 소요된다. 능동 학습(AL)은 이러한 부담을 줄이기 위해 제안되었으나, 기존 방법들은 세 가지 핵심 한계를 지닌다. 부분적으로 어노테이션된 WSI에서 불확실성 추정이 신뢰하기 어렵고, 패치 수준 획득이 슬라이드 수준 어노테이션 워크플로와 일관성이 없으며, 다중 클래스 환경에서 클래스 불균형이 명시적으로 다루어지지 않는다. 이러한 문제를 해결하기 위해, 우리는 어노테이션 효율적인 다중 클래스 조직병리학 분할을 위한 환자 수준 AL 프레임워크인 SHAL(Slide-level Hybrid Active Learning)을 제안한다. SHAL은 세 가지 상호 보완적 구성 요소를 통합한다: 레이블이 없는 배경 영역으로부터의 바이어스를 억제하는 전경 인식 전략, 학습 단계에 걸쳐 예측 엔트로피와 인식론적 불확실성을 혼합하는 단계 적응형 메커니즘, 그리고 진단적으로 중요한 조직 클래스를 우선시하는 클래스 인식 전략. SHAL은 TCGA 대장암 데이터셋에서 평가된다. 전체 어노테이션 예산에서 가장 높은 Macro Dice(0.846)를 달성하며, 예산의 26%만으로(190개 슬라이드 중 50개) Dice 0.80 이상에 도달하는 반면, 경쟁 방법들은 37%(70개 슬라이드)에서야 이 임계값에 도달한다. 5개의 독립적인 외부 코호트 전반에 걸쳐 SHAL은 가장 높은 평균 외부 Macro Dice(0.815)와 모든 방법 중 가장 작은 내부-외부 일반화 격차(라운드 3에서 0.025, 전체 예산에서 0.026)를 달성한다. 결과는 환자 수준 하이브리드 불확실성 획득이 계산 병리학에서 도메인 간 일반화를 희생하지 않고 어노테이션 비용을 절감함을 보여준다.
CPU 기반 피부경 검사 영상 분할에서의 초기화 및 중단 허용 오차
Initialization and Stopping Tolerance in CPU Dermoscopic Segmentation
윤곽선 초기화(initialization)와 수치적 중단 조건은 액티브 컨투어(active-contour) 분할 평가에 함께 영향을 미칠 수 있습니다. 본 연구에서는 크기가 조정된 ISIC 2017 미러 데이터셋에서 오픈소스 scikit-image Chan-Vese 구현을 사용하여 이 둘의 상호작용을 조사합니다. 100장의 이미지로 구성된 고정 개발 셋을 통해 공통 입력 채널을 선택한 후, 저장소의 홀드아웃(held-out) 분할에 속한 600장의 전체 이미지를 평가합니다. 기본 및 더 엄격한 레벨셋 허용 오차 조건 하에서 오츠(Otsu) 임계값 처리를 체커보드, 디스크, 오츠 방식으로 초기화된 윤곽선과 비교합니다. 기본 허용 오차에서 오츠 초기화는 체커보드 초기화 대비 평균 이미지 Dice 점수를 0.6011에서 0.6660으로 향상시키며, 이는 0.0649의 대응 차이(95% 이미지 부트스트랩 신뢰구간 [0.0452, 0.0860])를 보입니다. 오츠 임계값 처리 단독으로는 0.6897을 달성합니다. 기본 디스크 초기화 방식은 471장의 이미지에서 단 1회 반복(iteration) 후 중단됩니다. 허용 오차를 엄격하게 설정하면 체커보드 초기화 대비 오츠 시드의 이점이 0.0197로 감소하며, 대부분의 실행이 500회 반복 한계에 도달합니다. 기본 허용 오차에서의 이점 또한 병변 크기 계층(소형 병변 및 대형 병변) 간에 뒤바뀝니다. 이러한 결과는 범용 초기화 방식 대비 개선이 이루어지더라도 임계값 기준선(baseline) 대비 성능 저하와 공존할 수 있음을 보여줍니다. 따라서 향후 평가에서는 정제되지 않은 마스크를 비교 대상으로 유지해야 하며, 초기 필드 정의, 중단 허용 오차, 그리고 관측된 반복 횟수를 함께 보고해야 합니다.
자기공명영상 분할을 위한 다중 해상도 특징 융합 U-Net
Multi-Resolution Feature Fusion U-Net for Magnetic Resonance Imaging Segmentation
의료 영상, 특히 MRI 스캔에서 해부학적 구조를 분할하는 것은 임상 진단과 질병 진행 모니터링에 필수적이다. U-Net 및 그 확장 모델과 같은 심층 학습(Deep Learning, DL) 아키텍처는 의료 이미지 분할 작업에서 매우 효과적이지만, 미세한 세부 정보와 전역적인 맥락 정보를 동시에 보존하는 데 어려움을 겪는 경우가 많다. 이는 해부학적 구조가 불규칙한 경계와 형태, 대비, 크기의 변동을 특징으로 하는 MRI 데이터 분할에서 특히 어려운 문제이다. 이러한 문제를 해결하기 위해, 우리는 서로 다른 해부학적 구조에 대한 MRI 분할을 위한 새로운 DL 아키텍처를 제안한다. 구체적으로, 이 아키텍처는 임의의 U-Net 유사 아키텍처에 쉽게 통합될 수 있는 다중 해상도 특징 융합(Multi-Resolution Feature Fusion, MRFF)이라는 모듈을 도입한다. MRFF는 어텐션(attention) 메커니즘 및 스킵 연결(skip connection)과 함께 인코더-디코더 구조의 모든 레벨에 통합되어 여러 해상도에서 특징을 추출함으로써, 모델이 미세한 세부 정보와 전역적인 맥락 정보를 모두 포착할 수 있게 한다. 우리는 서로 다른 해부학적 대상에 대한 두 가지 공개 벤치마크 MRI 데이터셋에서 MRFFU-Net을 평가하였다; 하나는 척추 MR 스캔에서의 뇌척수액(Cerebrospinal Fluid, CSF) 분할이고, 다른 하나는 Medical Segmentation Decathlon(MSD) 챌린지에서 제공하는 좌심방(left atrium) 심장 분할이다. 실험 결과는 MRFFU-Net이 여러 평가 지표에서 최신(state-of-the-art) 모델들을 능가하며, MRI 분할에서의 효과성을 입증함을 보여준다.
다중 장기 이미지에 대한 연합학습 벤치마크 평가
Benchmark Evaluation of Federated Learning on Multi-organ Images
의료 데이터의 프라이버시 요구사항과 장기·모달리티에 따른 상당한 변이는 의료 AI의 임상 적용을 저해한다. 연합학습(FL)은 이러한 과제를 극복하기 위한 실행 가능한 접근법이다. FL 알고리즘의 지속적인 등장과 의료 데이터의 고도로 이질적인 특성으로 인해, 실제 임상 환경에서의 성능을 객관적으로 평가하는 것은 여전히 어렵다. 따라서 통합된 평가 기준으로서의 포괄적인 연합 의료 영상 벤치마크는 신뢰할 수 있는 임상 적용을 향한 기술 발전에 필수적이다. 기존 연합 의료 영상 벤치마크는 최신 알고리즘을 충분히 반영하지 못하고, 단일 장기 또는 단일 모달리티의 데이터에 국한되어 있으며, 모델 정확도를 지나치게 강조함으로써 실제 의료 환경에서 FL의 전반적인 효용성을 종합적으로 평가하기 어렵다. 이러한 과제를 해결하기 위해 MobenFL 벤치마크를 개발하였다. 이 벤치마크는 20개의 최신 FL 알고리즘과 22개의 의료 영상 데이터셋을 통합하며, 인체의 12개 주요 장기를 포괄하여 기존 벤치마크보다 넓은 범위를 다룬다. 평가 차원에서 MobenFL은 성능 평가에 그치지 않고 알고리즘 효율성과 프라이버시 보호 능력 등 핵심 지표를 체계적으로 통합한다. 또한 서로 다른 질환, 기기, 영상 모달리티를 포함하는 복잡한 실제 임상 시나리오에 대한 전문적인 평가를 수행함으로써, 의료 분야에서 FL의 임상 적용을 위한 포괄적이고 심층적인 평가 프레임워크를 제공한다.
데이터 선택 강화를 통한 능동적 퓨샷 분할
Active few-shot segmentation by reinforcing data selection
퓨샷 학습(few-shot learning)은 의료 이미지 분할 모델이 소수의 레이블이 붙은 예시만으로 새로운 태스크에 적응할 수 있게 한다. 그러나 적응 성능은 서포트 집합(support set)에 어떤 예시를 선택하느냐에 크게 좌우된다. 효과적인 서포트 집합은 대상 도메인 내 관련 변이를 포착하고 적응에 유용한 정보를 담아야 하며, 구성 샘플들이 상호 보완적인 정보를 제공해야 한다. 그럼에도 기존 능동적 데이터 선택 접근법은 대체로 샘플을 개별적으로 우선시하며 예시 간 상호작용을 명시적으로 고려하지 않는다. 본 연구에서는 퓨샷 의료 이미지 분할에서 서포트 집합 선택을 위한 강화학습 프레임워크를 제안하여, 독립적인 샘플 점수화가 아니라 서포트 집합을 공동으로 최적화할 수 있게 한다. 레이블이 없는 후보 이미지 풀(pool)이 주어지면, 에이전트는 하류 분할 성능을 최대화하는 서포트 집합을 직접 예측한다. 기관 간 교차 골반 MRI 데이터셋에서의 실험은 무작위 선택 및 현재 최첨단(state-of-the-art) 방법 대비 개선을 보여준다. 우리의 발견은 효과적인 적응을 위해 서포트 집합의 상호 보완성(complementarity)이 중요함을 강조하며, 적응 집합 최적화를 위한 강화학습의 잠재력을 보여준다.
Monkey King Bang: 통합 과학 멀티모달 파운데이션 모델
Monkey King Bang: A Unified Scientific Multimodal Foundation Model
과학적 발견은 점점 고립된 학문 분야에서 다중 도메인 추론으로 이동하고 있으며, 과학을 위한 AI도 유사한 전환에 직면하고 있다. 기존 시스템은 개별 도메인에 특화되어 있거나, 주로 텍스트 토큰화(tokenization)와 프롬프트 기반 인터페이스를 통해 과학 데이터를 통합함으로써, 다양한 과학 입력을 처리하고, 모달리티 고유(modality-native) 출력을 생성하며, 과학 도메인 전반에 걸친 공동 이해, 추론, 생성을 지원하는 능력을 제한한다. 우리는 이해와 생성 모두를 위한 통합 과학 멀티모달 모델인 MKB를 소개한다. MKB는 공유 트랜스포머 백본과 모달리티 맞춤형(modality-tailored) 인코더, 어댑터, 디코더를 중심으로 구축되었다. MKB는 DNA, RNA, 단백질, 소분자, 지구과학, 의료 영상을 포함한 6개 과학 분야를 다루며, 생물학적 서열, 분자 문자열, 기상장(meteorological fields), 분할 마스크(segmentation masks)와 같은 고유 출력을 지원한다. 학습은 2단계 모달리티-후-언어 커리큘럼을 따른다: 1단계에서는 모달리티별 구성 요소를 고정된 백본과 정렬하고, 2단계에서는 혼합된 과학 및 일반 코퍼스를 사용하여 언어 백본과 통합한다. 실험 결과, MKB는 생물학 및 분자 벤치마크(benchmark) 전반에서 경쟁력 있는 과학적 이해를 달성하고, 날씨 예측, 생물학적 생성, 의료 영상 분할(image segmentation)에 대해 고충실도(high-fidelity) 고유 출력을 생성하며, Qwen3-VL 백본의 일반 역량을 대체로 유지한다. 이 결과는 제안된 패러다임의 타당성을 보여주며, 모달리티 맞춤형 구성 요소를 갖춘 공유 백본 모델이 향후 교차 도메인 과학 멀티모달 탐험(exploration)을 위한 유망한 기반을 제공할 수 있음을 시사한다. 모델과 코드는 https://github.com/Shanghai-Academy-of-AI-For-Science/MKB 및 https://huggingface.co/sais-org/MKB에서 공개적으로 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.