arXiv:2609.26924v1 cs.CV

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

Constantin Ulrich Harsy, Tassilo Wald, Karol Gotkowski, Yannick Kirchhoff, Marcel Knopp, Maximilian Rokuss, Elisa Stegmeier, Philipp Schader, Dasha Trofimova, Raphael Stock, Kim-Celine Kahl, Stephen Schaumann, Selen Erkan, David Zimmerer, Stefan Denner 외 68명

제출 2026-09-24

한국어 초록

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

원문 초록

Radiological artificial intelligence has advanced rapidly, yet most systems remain narrowly task-specific, data-intensive, and fragile under domain shift. Foundation models promise more transferable and data-efficient solutions, but existing approaches are limited in scale, evaluated narrowly, and often assume that a single pretrained model can support diverse downstream tasks. Here we present nnFoundation, complementary convolutional and transformer-based 3D radiological foundation models. Developed within the Human Radiome Project (THRP), nnFoundation is trained on 2.1 million CT, MRI, and PET image volumes from 125 institutional and public datasets. We evaluate them across 108 tasks spanning segmentation, detection, classification, report generation, and image retrieval, including evaluations under domain shift, by external partners and in low-data and low-compute regimes. Across all task types, our convolution- and transformer-based nnFoundation models consistently outperform both prior 3D foundation models and training from scratch, establishing state-of-the-art performance for radiological imaging. However, performance follows a consistent task-dependent structure: the convolutional nnFoundation model dominates spatially localized tasks, whereas the transformer-based nnFoundation model excels in tasks requiring global semantic reasoning and in frozen-feature settings. Dynamically aligning the foundation model topology with the dataset characteristics post-hoc further improves transfer across heterogeneous 3D settings. These results show that transferable 3D radiological performance is governed not by a single universal model, but by the interplay of scalable pretraining, complementary architectures, and dataset-aware adaptation. We release nnFoundation models integrated into nnU-Net and nnDetection, enabling immediate application across established radiology workflows.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26924v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15816v1cs.LG공통 태그 Classification, Medical Image Analysis

ML-CLAPPS: 클래스 우선순위화를 적용한 불균형 다중 레이블 학습을 위한 확률론적 프레임워크

ML-CLAPPS: A Probabilistic Framework for Imbalanced Multilabel Learning under Class Prioritization

실세계 데이터셋은 심각한 클래스 불균형을 보이는 경우가 많으며, 이는 특히 희귀 클래스에서 심층 학습(deep learning) 모델의 성능을 저하시킵니다. 이진 및 다중 클래스 환경에서는 불균형에 대한 연구가 활발히 이루어졌지만, 복잡한 레이블 동시 발생(co-occurrence)으로 인해 다중 레이블(multilabel) 문제에서는 훨씬 더 큰 난제가 됩니다. 심전도(ECG) 분류와 같은 임상 응용 분야에서는 이러한 난제와 함께 두 번째 결정적인 과제가 결부되는데, 이는 위음성(false negative)으로 인한 막대한 비용을 줄이기 위해 유병률과 무관하게 고위험 질환의 우선순위를 지정해야 한다는 점입니다. 본 연구에서는 학습 인스턴스에 대한 분포를 최적화하여 모델의 서로 다른 클래스에 대한 노출을 제어하는 학습 가능한 샘플러인 다중 레이블 클래스 우선순위화 확률론적 샘플러(Multilabel Class-Prioritized Probabilistic Sampler, ML-CLAPPS)를 소개합니다. 이 접근 방식은 다중 레이블 불균형을 해결하는 동시에 사용자 정의 중요도 벡터(importance vector, IV)를 통해 중요한 질환의 우선순위화를 가능하게 합니다. 실세계 다중 레이블 ECG 이미지 데이터셋을 사용한 실증적 평가는 ML-CLAPPS가 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 우리는 본 모델이 지정된 IV에 클래스 노출도를 일치시키며, 특정 클래스의 중요도를 높이면 해당 클래스의 분류 성능이 상응하여 향상됨으로써 임상적으로 중대한 질환의 명시적인 우선순위화가 가능함을 보여줍니다.

arXiv:2610.13440v1eess.AS공통 태그 Classification, Domain Generalization

DistilHuBERT를 활용한 악센트 분류 재고: 화자 분리 평가 및 말뭉치 간 일반화

Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization

최근 악센트 분류(accent classification) 시스템은 표준적인 코퍼스 내(in-corpus) 평가에서 높은 정확도를 달성할 수 있다. 그러나 학습 세트와 테스트 세트 간에 화자가 겹치는 경우, 이러한 결과는 실제 배포 시나리오와 비교하여 모델의 강건성(robustness)을 과대평가할 수 있다. 본 연구는 L2-ARCTIC과 여러 외부 영어 악센트 데이터셋을 활용하여 DistilHuBERT 기반 악센트 분류의 강건성을 재검토한다. 비교 대상에는 균형 잡힌 외부 데이터 학습(balanced external-data training) 및 교사-학생 의사 라벨링(teacher-student pseudo-labeling)과 더불어, 파일 단위(file-level) 분할 및 화자 분리(speaker-disjoint) 분할이 포함된다. 코퍼스 내 평가와 외부 평가 간의 큰 성능 격차는 파일 단위 평가가 성능을 상당히 과대평가하는 반면, 화자 분리 평가는 미확인 화자에 대한 일반화 성능을 보다 현실적으로 추정할 수 있음을 시사한다. 본 연구에서 외부 데이터만으로 학습된 모델은 L2-ARCTIC에 안정적으로 일반화되지 못했다. 테스트된 구성 중에서는 균형 잡힌 외부 데이터 학습이 가장 유망한 지도학습 설정을 제공한다. 나아가 의사 라벨링 실험은 도메인 불일치 상황에서 신뢰도 기반 필터링(confidence-based filtering)만으로는 불충분함을 보여준다. 전반적으로 본 연구는 강건한 악센트 분류 평가를 위해 화자 분리 평가와 말뭉치 간(cross-corpus) 테스트를 동시에 포함해야 함을 시사한다.

arXiv:2610.13599v1cs.LG공통 태그 Classification, Medical Image Analysis

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.13780v1cs.CV공통 태그 Classification, Medical Image Analysis

형광 현미경 이미지에서 극히 희귀한 사멸 세포의 검출

Detection of extremely rare dead cells in fluorescence microscopy images

형광 현미경 관찰에서 사멸 세포 검출은 표현형 스크리닝과 약물 효능 평가에 필수적입니다. 그러나 신호 가변성, 광학 인공물(optical artifact), 여러 채널 간 공국재화(colocalization) 모호성으로 인해 자동 식별은 여전히 어렵습니다. 세포핵 경계를 정의하는 마커는 세포사멸(apoptotic) 마커와 공간적 또는 시간적으로 깔끔하게 일치하지 않습니다. 더욱이 마커 축적 동역학은 개별 세포 및 세포사멸 단계마다 다르므로 범용 임계값을 신뢰하기 어렵습니다. 본 논문에서는 핵 염색 검체에서 세포사멸 세포를 검출하기 위한 여러 전산적 접근 방식에 대한 체계적인 비교를 제시합니다: (1) 강도 임계값, 분포, 상관관계 및 도메인 지침을 사용하는 휴리스틱 방법; (2) 수치적 특징(로지스틱 회귀, 랜덤 포레스트, XGBoost 및 LightGBM)과 이미지 특징(ResNet-18 및 EfficientNet-B0)을 사용하는 분류; (3) 마찬가지로 수치적 특징(격리 포레스트, 원클래스 SVM 및 PCA 재구성)과 이미지 특징(합성곱 오토인코더 및 Deep SVDD)을 사용하는 이상 탐지. 수작업으로 주석이 달린 243개의 실측값(ground truth) 사멸 세포를 포함하여 여러 장면에 걸쳐 65,527개의 세포/핵이 포함된 258개 이미지 데이터셋을 사용하여, PR-AUC, 정밀도, 재현율, F1-score 및 macro-F1과 같은 지표로 각 방법을 평가합니다. 연구 결과에 따르면 이미지 특징을 사용하는 분류(심층 학습)와 수치적 특징을 사용하는 분류(전통적 방식)가 가장 우수한 성능을 달성했으며, ResNet-18과 XGBoost가 수작업으로 설계된 휴리스틱 및 이상 탐지 방법보다 크게 우수한 성과를 보였습니다. 이러한 연구 결과는 최첨단 전산 및 학습 기법으로도 이러한 생의학 문제를 해결하는 것이 여전히 매우 까다롭다는 점을 보여줍니다. 우리는 도메인 과학자를 돕는 보조 도구로서 완전 자동 방식이나 인간 참여형(human-in-the-loop) 설정 모두에서 연구자들에게 효과적인 의사결정 지원 도구를 제공하는 것을 목표로 합니다.

arXiv:2609.26955v3cs.LG공통 태그 Classification, Domain Generalization

사후 처리 공정성 제약이 도움이 될 때와 해가 될 때: 8개 교차 도메인 평가로부터의 근거

When Post-Processing Fairness Constraints Help and When They Harm: Evidence from Eight Cross-Domain Evaluations

프로덕션 ML에서 공정성 감사는 보통 배포 시점에 한 번, 단일 도메인에 대해서만 수행된다. 실제로는 둘 다 한계가 있다. 재학습이나 사용자층 변화 이후 공정성이 달라질 수 있고, 한 데이터셋에서 검증된 개입은 조직이 배포하는 이질적 도메인 전반에서 거의 검증되지 않는다. 우리는 FAPE(Fairness Auditing for Production Environments)를 제시한다. 이는 Fairlearn의 ThresholdOptimizer라는 단일 사후 처리 개입을 8가지 도메인 평가—형사 사법, 소득 예측, 법학 입학, 신용 대출, 농업 대출, 다중 도메인 벤치마크 코퍼스, 의료, 교육—에서 평가하는 4단계 프레임워크이다. 각 평가는 인구통계적 균등(demographic parity)과 균등 오즈(equalized odds) 차이, 그리고 계산 가능한 경우 차등 영향 비율(disparate impact ratio)과 정확도 비용으로 채점된다. 개입 효과는 기준선 불균형의 크기를 따른다. 모델-도메인 쌍 전반에서 제약은 불균형이 큰 14건 중 9건에서 불균형을 개선했고, 거의 공정한 4건 중 3건에서는 악화시켰다. 불균형이 큰 예외 5건 각각은 최소 집단 크기 또는 홀드아웃 데이터에 맞춘 임계값이라는 두 측정 점검 중 하나에서 결과가 뒤집힌다. 배포 시 시작한 CUSUM 모니터를 시뮬레이션된 분포 변화에 대해 검증한 결과, 0.1 parity 관례를 한 번도 충족하지 못한 제약 모델과 충족했다가 이후 퇴행한 모델을 구분한다. 따라서 배포 시점의 단일 감사는 신뢰할 수 있는 지표가 아니며, 이는 기준선 불균형 스크리닝과 지속적 모니터링을 뒷받침한다.

arXiv:2610.11067v1cs.CV공통 태그 Classification, Domain Generalization

일반화 가능한 파운데이션 모델 적응을 위한 확산 메타 프롬프팅 및 스티어링

Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation

프롬프트 학습(Prompt learning)은 파운데이션 모델(foundation model)을 적응시키는 널리 쓰이는 방법이지만, 학습된 프롬프트는 대개 특정 태스크에 국한되어 새로운 클래스, 도메인, 또는 태스크의 조합으로 일반화되지 못합니다. 본 논문에서는 확산 모델(diffusion model)을 사용하여 학습된 프롬프트의 분포를 모델링하는 프레임워크인 확산 메타 프롬프트(Diffusion Meta-Prompt, DMP) 모델을 소개합니다. 기존에 학습된 프롬프트 저장소가 주어지면, DMP는 원본 태스크 예시나 태스크 손실(task loss)에 접근하지 않고도 학습 및 샘플링되며, 자연어 태스크 설명을 조건으로 삼아 새로운 프롬프트를 합성합니다. 샘플링 안정성을 향상하기 위해, 당사는 DMP를 재학습하거나 테스트 클래스에 접근하지 않고도 확산 샘플링 중에 저장소 내 최적의 학습 선택 프롬프트를 잠재 앵커(latent anchor)로 사용하는 DMP용 테스트 타임 스티어링(test-time steering) 전략을 제안합니다. DMP는 분류(classification), 검색, 텍스트-이미지 생성 태스크 전반에서 일반화 성능을 향상시키며, 명시적인 학습 없이도 개념 조합과 네거티브 프롬프팅(negative prompting)을 지원합니다. 또한 프롬프트 검색 방식에 비해 스토리지 및 추론(inference) 비용을 90% 이상 절감합니다. 복합 분류에서 DMP는 55쌍의 데이터셋에 걸쳐 기존 메타러닝(meta-learning) 방식 대비 평균 최대 2.0%의 성능 향상을 달성하며, Eurosat 및 Flowers와 같은 특정 데이터셋 쌍에서는 최대 8.5%의 향상을 보입니다. DMP는 계층적 분류 태스크에서도 약 2~9%의 향상을 보이며 태스크 간 일반화 성능 역시 강화합니다. 나아가 당사는 DMP에서 샘플링된 프롬프트의 기대 태스크 손실을 제한하는 이론적 보장을 제공합니다. 코드는 https://github.com/DeepakSridhar/dmp 에서 제공됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.