arXiv:2010.11008

What is Wrong with Continual Learning in Medical Image Segmentation?

Camila Gonzalez, Nick Lemke, Georgios Sakas, Anirban Mukhopadhyay

제출 2020-10-21

원문 초록

Continual learning protocols are attracting increasing attention from the medical imaging community. In continual environments, datasets acquired under different conditions arrive sequentially; and each is only available for a limited period of time. Given the inherent privacy risks associated with medical data, this setup reflects the reality of deployment for deep learning diagnostic radiology systems. Many techniques exist to learn continuously for image classification, and several have been adapted to semantic segmentation. Yet most struggle to accumulate knowledge in a meaningful manner. Instead, they focus on preventing the problem of catastrophic forgetting, even when this reduces model plasticity and thereon burdens the training process. This puts into question whether the additional overhead of knowledge preservation is worth it - particularly for medical image segmentation, where computation requirements are already high - or if maintaining separate models would be a better solution. We propose UNEG, a simple and widely applicable multi-model benchmark that maintains separate segmentation and autoencoder networks for each training stage. The autoencoder is built from the same architecture as the segmentation network, which in our case is a full-resolution nnU-Net, to bypass any additional design decisions. During inference, the reconstruction error is used to select the most appropriate segmenter for each test image. Open this concept, we develop a fair evaluation scheme for different continual learning settings that moves beyond the prevention of catastrophic forgetting. Our results across three regions of interest (prostate, hippocampus, and right ventricle) show that UNEG outperforms several continual learning methods, reinforcing the need for strong baselines in continual learning research.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27865v1cs.LG공통 태그 Image Classification, Diagnostic, Continual Learning

무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지

What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis

깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.

arXiv:2609.26920v1cs.CV공통 태그 Image Classification, Diagnostic

자동 신세포암 등급 분류를 위한 조직병리학 및 CT 기반 교차 모달 대조 학습

Cross-Modal Contrastive Learning from Histopathology and CT for Automated Renal Cell Carcinoma Grading

배경: 투명세포 신세포암(ccRCC)은 상당한 임상적 이질성을 보이며, 위험 계층화 및 치료 계획 수립을 위해서는 정확한 등급 평가가 필수적이다. 그러나 기존의 등급 평가는 침습적인 조직 채취를 필요로 한다. 본 연구에서는 비침습적인 CT 기반 ccRCC 등급 예측을 개선하기 위해 학습(training) 중 쌍을 이룬 조직병리학 및 컴퓨터 단층촬영(CT) 데이터를 활용하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크인 RCC-Align을 개발했다. 방법: RCC-Align은 대조 교차 모달 목적함수를 통해 쌍을 이룬 전체 슬라이드 조직병리학 이미지(WSI)와 CT 스캔을 정렬하여 미시적인 조직 형태학으로부터 거시적인 방사선학적 표현으로 등급 판별 정보를 전달한다. 이 프레임워크는 환자 수준의 5겹 교차 검증(validation)을 사용하여 쌍을 이룬 TCGA 및 CPTAC 코호트에서 학습 및 평가되었다. 저등급 대 고등급 ccRCC 분류(classification) 성능을 CT 전용 베이스라인(DINOv2-Base 및 DINOv2-Finetuned)과 WSI 기반 참조 모델(model)(GigaPath-Finetuned)과 비교했다. 교차 모달 정렬은 코사인 유사도 분석을 사용하여 평가되었다. 결과: RCC-Align은 0.601의 AUC(95% CI, 0.524-0.673) 및 0.599의 AUPRC(95% CI, 0.541-0.676)를 달성하여 유의하게 향상된 저등급 예측 성능(p = 0.004)과 함께 DINOv2-Finetuned(AUC 0.545, AUPRC 0.543)를 능가했다. 또한 RCC-Align은 베이스라인과 비교하여 더 강력한 쌍 WSI-CT 임베딩(embedding) 정렬을 보였다. WSI 기반 GigaPath 참조 모델은 0.719의 AUC를 달성했다. 결론: 병리학 유도 대조 학습은 추론(inference) 시 CT만 필요로 하면서도 CT 기반 ccRCC 등급 분류를 개선한다. 이러한 접근법은 생검이 안전하지 않거나 불가능하거나 종양 내 이질성으로 인해 제한될 때 조직 진단을 보완할 수 있다. 임상적 적용 전 외부 테스트를 포함한 더 크고 다기관인 코호트에서의 검증이 필요하다.

arXiv:2609.27523v1cs.CV공통 태그 Image Classification, Diagnostic

M3D-Net: 유방촬영 분류를 위한 공간 문맥, 특징 재사용, 차분 어텐션의 계층적 조율

M3D-Net: Hierarchical Coordination of Spatial Context, Feature Reuse, and Differential Attention for Mammography Classification

유방 영상 분류는 국소적 세부와 전역 조직 문맥을 모두 필요로 하지만, 표현이 깊어질수록 이러한 단서는 약해질 수 있다. 본 연구는 해상도 인식 연산자 배치를 통해 다중 스케일 좌표 어텐션, 유계 동적 특징 재사용, 차분 어텐션을 계층적으로 조율하는 유방촬영 인코더 M3D-Net을 제안한다. 스테이지 내 검색은 이전 특징에 대한 접근을 유지하고, 좌표 인식 집계는 국소 및 전역 문맥을 통합하며, 차분 어텐션은 거친 해상도에서 동작한다. AISSLab 유방촬영 데이터에서 이미지 전용 분류를, BrEaST 초음파에서는 적응된 영상-임상 모델을 평가하였다. EdgeNeXt, RepViT, TransXNet과 비교할 때 제안 구현은 기록된 검증 정확도와 학습 후반 정확도가 가장 높고, 종점 교차 엔트로피 손실이 가장 낮았다. 검증 정확도는 각각 97.78%와 80.39%에 달한다. 이 결과는 다양한 유방 영상 설정에서 계층적 조율에 대한 추가 평가를 뒷받침하나, 반복 시드, 구성 요소 통제, 독립 평가는 여전히 필요하다.

arXiv:2609.24838v1cs.AI공통 태그 Diagnostic, Continual Learning

MedRSI: 임상적으로 정렬된 자기 진화를 통한 의료용 에이전트의 재귀적 자기 개선

MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution

의료용 에이전트(agent)는 범용 추론 모델과 특화된 임상 도구를 점진적으로 결합하고 있으나, 그 능력은 배포 전 임상의와 엔지니어가 설계한 수준에 대부분 고정되어 있습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 에이전트가 자신의 실패로부터 학습(training)하고 자율적으로 능력을 확장하는 다른 패러다임을 제공하지만, RSI를 의료 분야에 직접 적용하는 것은 근본적인 안전성(safety) 문제를 초래합니다. 본 논문에서는 도구 조합과 태스크별 모델 학습을 통해 진단 실패를 새로운 임상 능력으로 지속적으로 전환하는 최초의 의료용 재귀적 자기 개선 프레임워크인 MedRSI를 소개합니다. 임상 진료 현장에서 영감을 얻은 MedRSI는 임상적으로 정렬(alignment)된 자기 진화를 위한 두 가지 메커니즘을 도입합니다. 첫째, 임상 비용 인식 기반 실패 우선순위화(clinical-cost-aware failure prioritization)는 단순한 빈도 대신 잠재적인 임상적 결과에 따라 오류에 대한 개선 방향을 설정합니다. 둘째, 신속한 발견과 보수적 등록(fast discovery with slow registration)은 빠른 능력 창출과 보수적 도입을 분리하여, 후속 환자 코호트 전반에서 지속적인 이점을 입증한 후에만 새로운 도구가 영구 에이전트에 반영되도록 합니다. 공개 녹내장 및 심장 질환 벤치마크(benchmark)와 두 가지 비공개 임상 태스크 전반에서 MedRSI는 분할, 측정, 예측, 멀티모달 추론 및 생성 능력을 점진적으로 발전시키며, 수작업으로 설계된 의료용 에이전트를 능가하고 원래 설계자가 예상하지 못한 임상 문제에 대한 솔루션을 자율적으로 발견합니다. 본 연구 결과는 의료용 에이전트가 배포 전에 지정된 능력에 국한될 필요가 없음을 보여줍니다. 즉, 무엇을 개선하고 무엇을 유지할지 통제하는 임상적으로 기반을 둔(grounded) 메커니즘을 통해 진단 경험으로부터 새로운 능력을 지속적으로 구축, 검증 및 축적할 수 있습니다. 코드는 https://github.com/ImprintLab/MedRSI 에서 확인할 수 있습니다.

arXiv:2609.24190v1cs.CV공통 태그 Image Classification, Diagnostic

환자가 촬영한 피부 이미지에서 상용 멀티모달 AI 모델과 피부과 전문의의 성능 벤치마킹

Benchmarking Off-the-Shelf Multimodal AI Models Against Dermatologists on Patient-Captured Skin Images

인공지능(AI)은 최근 몇 년 동안 급속한 속도로 발전해 왔습니다. 초기에는 대규모 언어 모델(LLM)의 혁신이 광범위한 주목을 받았습니다. 그러나 최근 세대의 프론티어 AI 모델들은 비전 기능을 핵심으로 삼아 멀티모달 기능을 일급 시민(first class citizen)으로 도입했습니다. 본 논문에서는 환자가 제출한 이미지로부터 피부과 질환을 진단하는 작업에 대해 최근 출시된 3가지 모델을 평가합니다. 선택된 모델들은 가격 측면에서 중저가 티어에 해당하므로, 현재 AI 능력의 상한선이 아닌 하한선을 나타냅니다. 저자들은 각 이미지를 평가한 세 명의 공인 피부과 전문의 패널과 비교하여 AI의 성능을 평가하며, 4가지 흥미로운 발견점을 제시합니다. 첫째, 지표에 따라 테스트된 AI 모델들은 임상의 간 일치도(inter-clinician agreement) 측면에서 인간과 동등하거나 약간 뒤처집니다. 둘째, AI 모델에 신뢰도(confidence) 점수를 요구하면 잘 보정되지 않은(poorly calibrated) 답변이 생성되므로, 임상 환경에서 신뢰도 임계값의 사용에 의존해서는 안 된다는 점을 발견했습니다. 셋째, 추가적인 환자 메타데이터를 제공하는 효과는 모델에 따라 크게 다르며, 세 모델 중 하나는 고려된 모든 지표에서 성능이 저하되었습니다. 마지막으로, 모델 비용은 성능을 예측하지 못합니다. 테스트한 가장 성능이 우수한 모델의 비용은 건당 평균 0.0045달러에 불과합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.