arXiv:1901.08707

Surrogate Supervision for Medical Image Analysis: Effective Deep Learning From Limited Quantities of Labeled Data

Nima Tajbakhsh, Yufei Hu, Junli Cao, Xingjian Yan, Yi Xiao, Yong Lu, Jianming Liang, Demetri Terzopoulos, Xiaowei Ding

제출 2019-01-25

원문 초록

We investigate the effectiveness of a simple solution to the common problem of deep learning in medical image analysis with limited quantities of labeled training data. The underlying idea is to assign artificial labels to abundantly available unlabeled medical images and, through a process known as surrogate supervision, pre-train a deep neural network model for the target medical image analysis task lacking sufficient labeled training data. In particular, we employ 3 surrogate supervision schemes, namely rotation, reconstruction, and colorization, in 4 different medical imaging applications representing classification and segmentation for both 2D and 3D medical images. 3 key findings emerge from our research: 1) pre-training with surrogate supervision is effective for small training sets; 2) deep models trained from initial weights pre-trained through surrogate supervision outperform the same models when trained from scratch, suggesting that pre-training with surrogate supervision should be considered prior to training any deep 3D models; 3) pre-training models in the medical domain with surrogate supervision is more effective than transfer learning from an unrelated domain (e.g., natural images), indicating the practical value of abundant unlabeled medical image data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24937v3cs.CV공통 태그 Medical Image Analysis, Transfer Learning

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2609.27710v3cs.CV공통 태그 Medical Image Analysis, Transfer Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.13915v1cs.CV공통 태그 Medical Image Analysis, Transfer Learning

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

arXiv:2610.10648v1cs.LG공통 태그 Medical Image Analysis, Transfer Learning

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2609.36407v2cs.CV공통 태그 Medical Image Analysis, Transfer Learning

무엇이 고배율 지식을 전이 가능하게 만드는가? 전슬라이드 이미지에서의 해상도 간 지식 증류 연구

What Makes High-Magnification Knowledge Transferable? A Study of Cross-Resolution Distillation in Whole-Slide Imaging

해상도 간 지식 증류(cross-resolution knowledge distillation)는 고배율 표현을 전이하여 저배율 전슬라이드(whole-slide) 분석을 개선하는 것을 목표로 하지만, 유용한 전이가 일어나는 조건은 여전히 불분명합니다. 본 연구에서는 교사 접근성(teacher access), 표현 손실(representation loss), 모델 과잉(model excess)에 대한 분해 기반 분석을 개발하고, 세 가지 질문을 제시합니다: (a) 교사 타깃이 과제에 도움이 되는지, (b) 저배율 학생 모델이 이를 예측할 수 있는지, (c) 슬라이드 모델이 해당 예측으로부터 이점을 얻는지 여부입니다. 우리는 분류, 병기 분류(grading), 생존 예측에 걸친 10개의 병리 코호트에 대한 통제된 실험을 통해 이를 조사합니다. 주요 비교 결과, 고유한 저배율 특징과 함께 교사의 영역별 평균을 제공하는 것은 10개 코호트 전체에서 다운스트림 성능을 향상시켰습니다. 직접 예측은 잔차 예측보다 낮은 재구성 오차를 달성하지만, 예측된 특징은 교사 타깃의 변동성을 과소표현합니다. 더욱이 재구성이 더 잘된다고 해서 다운스트림 점수가 일관되게 향상되지는 않으며, 예측된 교사 특징이 일정하게 유지되는 경우에도 고유 특징을 유지하는지 여부에 따라 성능이 달라집니다. 종합적으로 이러한 발견은 교사 표현을 재구성하는 것과 그것의 다운스트림 가치를 실현하는 것 사이의 간극을 드러냅니다. 이는 해상도 간 전이의 척도로서 재구성 오차의 충분성에 의문을 제기하며, 전이가 어디에서 실패하는지 검토하기 위한 진단 프레임워크를 제공합니다. 향후 증류 설계는 학생 모델이 무엇을 예측할 수 있는지와 슬라이드 모델이 이러한 예측을 어떻게 활용하는지를 모두 고려해야 합니다.

arXiv:2609.27232v1cs.LG공통 태그 Medical Image Analysis, Transfer Learning

fMRI 파운데이션 모델에 대한 스케일링 연구

A Scaling Study for fMRI Foundation Models

스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.