Few Shot Learning for Medical Imaging: A Comparative Analysis of Methodologies and Formal Mathematical Framework
원문 초록
Deep learning becomes an elevated context regarding disposing of many machine learning tasks and has shown a breakthrough upliftment to extract features from unstructured data. Though this flourishing context is developing in the medical image processing sector, scarcity of problem-dependent training data has become a larger issue in the way of easy application of deep learning in the medical sector. To unravel the confined data source, researchers have developed a model that can solve machine learning problems with fewer data called ``Few shot learning". Few hot learning algorithms determine to solve the data limitation problems by extracting the characteristics from a small dataset through classification and segmentation methods. In the medical sector, there is frequently a shortage of available datasets in respect of some confidential diseases. Therefore, Few shot learning gets the limelight in this data scarcity sector. In this chapter, the background and basic overview of a few shots of learning is represented. Henceforth, the classification of few-shot learning is described also. Even the paper shows a comparison of methodological approaches that are applied in medical image analysis over time. The current advancement in the implementation of few-shot learning concerning medical imaging is illustrated. The future scope of this domain in the medical imaging sector is further described.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
병리 슬라이드 파운데이션 모델의 다중 교사 증류를 이용한 다중 인스턴스 학습 네트워크 사전학습
Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models
다중 인스턴스 학습(MIL)은 계산 병리학에서 전체 슬라이드 이미지(WSI) 분석의 주된 패러다임이 되었다. 그러나 기존 MIL 집계기(aggregator)는 여전히 일반적으로 각 하류 과제마다 처음부터 학습되며, 제한된 슬라이드 수준 레이블에 의존하여 집계 메커니즘과 하류 판별 표현을 동시에 학습한다. 그 결과, 불안정한 최적화, 과적합, 제한된 전이 가능성을 자주 겪는다. 자연 이미지 학습의 사전학습된 ResNet 및 Vision Transformer(트랜스포머) 모델과 유사하게, MIL 역시 재사용 가능한 사전학습 초기화가 필요하다. 그러나 고품질 슬라이드 수준 사전학습 데이터는 여전히 부족하며, MIL 모델은 보통 경량이고 약지도(weakly supervised) 방식이어서 실제로 대규모 사전학습이 어렵다. 이 과제를 해결하기 위해, 우리는 MIL을 위한 증류 기반 사전학습 프레임워크를 제안하며, 슬라이드 수준 파운데이션 모델인 TITAN과 CARE 두 가지를 교사로 활용하여 그들의 표현 지식을 다양한 MIL 아키텍처로 전이한다. 서로 다른 교사들의 지도를 효과적으로 균형 맞추기 위해, 각도 분산 정규화 증류 손실을 추가로 도입한다. 증류된 가중치는 이후 하류 적응을 위한 초기화로 사용된다. 우리는 선형 프로빙(linear probing)과 전체 매개변수 미세조정 모두에 대해 15개 벤치마크 데이터셋에서 체계적 평가를 수행하고, 퓨샷(few-shot) 시나리오에서의 이점을 추가로 검증한다. 실험 결과, 사전학습이 일반적으로 처음부터 학습하는 것보다 MIL 집계기를 개선하며, 특히 선형 프로빙 및 퓨샷 설정에서 그렇고, 경량 MIL 모델의 계산 효율성은 유지한다. 코드는 https://github.com/fu0201/MIL_Pretrained 에서 이용할 수 있다.
공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성
Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification
정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.
클래스 대비 영향(Class-Contrastive Influence)을 이용한 확산 모델 조향을 통한 퓨샷 의료 분류
Steering Diffusion Models via Class-Contrastive Influence for Few-Shot Medical Classification
라벨이 붙은 데이터가 부족할 때, 기성 확산 모델은 퓨샷 의료 이미지 분류를 위한 학습 세트를 보강할 수 있지만, 생성된 모든 샘플이 하류 작업에 동등하게 유용한 것은 아니다. 기존 접근법은 대체로 사실성, 다양성 또는 도메인 적응을 높여 합성 데이터를 개선하는 데 집중하면서, 더 근본적인 질문을 간과한다: 분류를 위한 샘플 유용성은 어떻게 측정하고 최적화해야 하는가? 우리는 Class-Contrastive Influence(C2I)로 이를 해결한다. 이는 분류기에 대한 그래디언트 기반 영향을 통해 샘플 유용성을 정량화하는 기준이다. 효과적인 샘플은 강한 C2I 차이를 보인다: 해당 샘플의 손실 그래디언트는 동일 클래스의 검증 그래디언트와 정렬되고, 다른 클래스의 검증 그래디언트와는 상반된다. 우리의 분석은 추가로 이러한 고 C2I 샘플이 어렵고 경계 근접한 예시이며, 의사결정 경계를 정밀화하고 견고성을 향상하는 데 도움이 된다고 시사한다. 이 통찰을 바탕으로, C2I 기반 보상을 사용한 강화학습으로 확산 모델을 파인튜닝하여 생성이 클래스 정보를 담은 샘플 쪽으로 조향되도록 한다. 여러 퓨샷 의료 영상 벤치마크에서 C2I 기반 생성은 확산 기반 증강 기준선 대비 하류 정확도와 견고성을 향상시키며, 합성 증강은 이미지 품질만이 아니라 작업 유용성에 따라 안내될 때 가장 효과적임을 보여준다.
OCT 및 치매 영상에서 에뮬레이션된 양자 레이어가 CNN의 성능과 설명 가능성에 미치는 영향
On the effects of emulated quantum layers on CNN performance and explainability for OCT and dementia imaging
하이브리드 양자-고전 합성곱 신경망은 고전 딥러닝 모델의 대안으로 제안되어 왔다. 그러나 양자 하드웨어에서 신경망 구성 요소를 실행하면 반복 측정을 통한 기울기 추정과 같은 근본적인 제약이 따르며, 큐비트 수를 늘리면 불모 고원(barren plateau)과 같은 학습 가능성 문제가 발생할 수 있다. 더욱이 이러한 하이브리드 신경망의 보고된 성공은 고전 컴퓨터에서 효율적으로 시뮬레이션될 수 있는 양자 구조와 연관되어 있다. 본 연구는 작고 고전적으로 시뮬레이션되는 양자 회로가 순수 고전 레이어를 대체하여 더 큰 모델 내의 유용한 구성 요소로 기능할 수 있는지를 조사한다. 하이브리드 양자 영감 CNN(HQiCNN)과 표준 CNN 구조를 체계적으로 비교하며, 두 모델은 단 하나의 중간 레이어에서만 다르다. HQiCNN에서는 에뮬레이션된 양자 회로이고 CNN에서는 그에 대응하는 고전 레이어이다. 모델은 두 개의 의료 영상 데이터셋에서 학습 집합 크기, 학습률, 배치 크기, 회로 얽힘, 관측량 집합을 달리하며 평가된다. 엄격한 매개변수 예산 하에서 HQiCNN은 고전 기준 모델보다 우수한 성능을 보인다. 고전 레이어에 더 많은 매개변수를 부여하면 전반적인 성능은 비슷해지며, HQiCNN은 중간 규모 데이터 영역에서만 향상을 보인다. 얽힘을 제거해도 성능은 비슷하고, 더 풍부한 관측량 집합도 성능 향상을 가져오지 않는다. 마지막으로 모델 설명을 비교하기 위한 두 가지 SHAP 기반 지표인 $|$SHAP$|$IoU와 EMD$_{\mathrm{pos}}$를 도입한다. 이들은 모든 구조가 해부학적으로 타당한 영역에 주목하며, 구조 간 공간적 주의 일치도가 학습 집합 크기에 따라 증가함을 보여준다. 이러한 결과는 특정 데이터 영역에서 양자 영감 하이브리드 모델이 의료 영상 분류에서 고전 CNN에 대한 경쟁력 있는 대안임을 시사한다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.