arXiv:2304.09327

Federated Alternate Training (FAT): Leveraging Unannotated Data Silos in Federated Segmentation for Medical Imaging

Erum Mushtaq, Yavuz Faruk Bakman, Jie Ding, Salman Avestimehr

제출 2023-04-18

원문 초록

Federated Learning (FL) aims to train a machine learning (ML) model in a distributed fashion to strengthen data privacy with limited data migration costs. It is a distributed learning framework naturally suitable for privacy-sensitive medical imaging datasets. However, most current FL-based medical imaging works assume silos have ground truth labels for training. In practice, label acquisition in the medical field is challenging as it often requires extensive labor and time costs. To address this challenge and leverage the unannotated data silos to improve modeling, we propose an alternate training-based framework, Federated Alternate Training (FAT), that alters training between annotated data silos and unannotated data silos. Annotated data silos exploit annotations to learn a reasonable global segmentation model. Meanwhile, unannotated data silos use the global segmentation model as a target model to generate pseudo labels for self-supervised learning. We evaluate the performance of the proposed framework on two naturally partitioned Federated datasets, KiTS19 and FeTS2021, and show its promising performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28105v1cs.LG공통 태그 Self-Supervised Learning, Federated Learning

Fed-ReMasker: 특징 수준 결측 하의 연합 표 형식 대치

Fed-ReMasker: Federated Tabular Imputation under Feature-Level Missingness

다기관 임상 연구와 생의학 연구 협력은 점점 더 여러 기관에 걸친 데이터를 활용해 단일 기관을 넘어 일반화되는 모델을 구축하려 한다. 이는 두 가지 뚜렷한 과제를 만든다. 데이터 보호 규제는 기관 간 원시 환자 데이터 공유를 제한할 수 있고, 기관마다 서로 다른 프로토콜 아래 부분적으로만 겹치는 특징 집합만 수집할 수 있다. 연합 학습(federated learning)은 원시 데이터를 중앙에 모으지 않고 협력적으로 모델 학습을 가능하게 한다. 그러나 기존 연합 대치(imputation) 방법은 일부 기관에서 전체 특징이 관측되지 않는 특징 수준 결측(feature-level missingness)을 거의 평가하지 않는다. 이 설정을 다루기 위해, 우리는 ReMasker 마스크드 오토인코더를 연합 학습에 맞게 확장한 Fed-ReMasker를 제안하여, 협력 기관들에서 학습한 지식을 활용해 로컬에서 한 번도 관측되지 않은 특징을 기관이 대치할 수 있게 한다. Fed-ReMasker는 선형·비선형 관계를 갖는 합성 데이터셋과 임상 데이터를 포함한 실제 표 형식 데이터셋에 걸친 벤치마크에서 평가한다. 이 벤치마크는 기관 수, 결측 비율, 클라이언트 이질성(heterogeneity)을 변화시킨다. Fed-ReMasker는 동질(homogeneous) 벤치마크에서 값 수준(value-level) 시나리오의 93.2%, 특징 수준 시나리오의 96.7%에서 최저 대치 오차를 달성한다. 단순 연합 평균(federated averaging)만으로도 클라이언트 이질성에 견고하며, 값 수준 36개 시나리오 전부에서 모든 기준선을 능가하고, 특징 수준 36개 시나리오 각각에서 최소 35개에서 각 기준선을 능가하며, 풀링(pooled) 데이터로 학습한 중앙집중식 모델 대비 평균 3.0% 이내에 머문다.

arXiv:2609.26924v1cs.CV공통 태그 Self-Supervised Learning, Segmentation

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

arXiv:2607.23238v2cs.CV공통 태그 Self-Supervised Learning, Segmentation

SARATR-X-v2: SAR 파운데이션 모델을 위한 스케일 인식 구조적 사전학습

SARATR-X-v2: Scale-Aware Structural Pre-Training for SAR Foundation Models

마스크드 이미지 모델링(masked image modeling)은 SAR 사전학습의 지배적 패러다임이 되었으나, 복원 목표(reconstruction target) 설계는 근본적으로 아직 정립되지 않았다. 본 논문은 SAR 사전학습 목표가 전이 가능한 표현(representation)을 만들려면 두 가지 조건을 만족해야 한다고 주장한다: (i) 물리 기반 안정성(physics-grounded stability), 즉 코히런트(coherent) 영상에 내재된 곱셈형 speckle에 대해 목표 연산자(target operator)가 근사적으로 불변인 것; (ii) 의미적 스케일 호환성(semantic scale compatibility), 즉 하류 과제가 요구하는 이질적인 공간 스케일을 포괄하는 것. 이 두 조건은 각각은 달성 가능하지만 동시에 만족시키기는 어렵다. 물리 기반 안정성은 고정 연산자를 선호하고, 의미적 스케일 호환성은 데이터 기반 구성(composition)을 선호한다. 이를 위해 SARATR-X-v2는 단일 설계 안에서 두 가지를 조화시킨다. 목표는 blind-spot 국소 집합(local aggregation)부터 방향성 log-ratio 영역 대비(directional log-ratio region contrast)에 이르기까지 여섯 수용 영역(receptive field)에 걸친 고정 구조 추출기(fixed structural extractors)로 구성되고, 학습 가능한 가중치로 융합되어 마스크 복원(masked reconstruction)을 위한 하나의 통합 supervision 신호를 만든다. 분류, 검출, 세그멘테이션을 아우르는 12개 SAR 벤치마크에서 SARATR-X-v2는 최신(state-of-the-art) 전이(transfer) 성능을 달성한다. 합성 speckle 변화 하에서 제안 목표는 픽셀 공간 supervision 대비 학습된 표현의 perturbation drift를 거의 두 자릿수(두 order of magnitude)만큼 줄인다. 종합하면, 이러한 결과는 물리 기반 안정성과 의미적 스케일 호환성을 코히런트 영상 하 사전학습 목표 설계의 원칙적 프레임워크로 확립하며, 효과적인 SAR 사전학습은 더 많은 신호를 복원하는 것이 아니라 올바른 구조적 목표를 복원하는 것에 관한 것임을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.