arXiv:2303.11339

FedMAE: Federated Self-Supervised Learning with One-Block Masked Auto-Encoder

Nan Yang, Xuanyu Chen, Charles Z. Liu, Dong Yuan, Wei Bao, Lizhen Cui

제출 2023-03-20

원문 초록

Latest federated learning (FL) methods started to focus on how to use unlabeled data in clients for training due to users' privacy concerns, high labeling costs, or lack of expertise. However, current Federated Semi-Supervised/Self-Supervised Learning (FSSL) approaches fail to learn large-scale images because of the limited computing resources of local clients. In this paper, we introduce a new framework FedMAE, which stands for Federated Masked AutoEncoder, to address the problem of how to utilize unlabeled large-scale images for FL. Specifically, FedMAE can pre-train one-block Masked AutoEncoder (MAE) using large images in lightweight client devices, and then cascades multiple pre-trained one-block MAEs in the server to build a multi-block ViT backbone for downstream tasks. Theoretical analysis and experimental results on image reconstruction and classification show that our FedMAE achieves superior performance compared to the state-of-the-art FSSL methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28105v1cs.LG공통 태그 Self-Supervised Learning, Federated Learning

Fed-ReMasker: 특징 수준 결측 하의 연합 표 형식 대치

Fed-ReMasker: Federated Tabular Imputation under Feature-Level Missingness

다기관 임상 연구와 생의학 연구 협력은 점점 더 여러 기관에 걸친 데이터를 활용해 단일 기관을 넘어 일반화되는 모델을 구축하려 한다. 이는 두 가지 뚜렷한 과제를 만든다. 데이터 보호 규제는 기관 간 원시 환자 데이터 공유를 제한할 수 있고, 기관마다 서로 다른 프로토콜 아래 부분적으로만 겹치는 특징 집합만 수집할 수 있다. 연합 학습(federated learning)은 원시 데이터를 중앙에 모으지 않고 협력적으로 모델 학습을 가능하게 한다. 그러나 기존 연합 대치(imputation) 방법은 일부 기관에서 전체 특징이 관측되지 않는 특징 수준 결측(feature-level missingness)을 거의 평가하지 않는다. 이 설정을 다루기 위해, 우리는 ReMasker 마스크드 오토인코더를 연합 학습에 맞게 확장한 Fed-ReMasker를 제안하여, 협력 기관들에서 학습한 지식을 활용해 로컬에서 한 번도 관측되지 않은 특징을 기관이 대치할 수 있게 한다. Fed-ReMasker는 선형·비선형 관계를 갖는 합성 데이터셋과 임상 데이터를 포함한 실제 표 형식 데이터셋에 걸친 벤치마크에서 평가한다. 이 벤치마크는 기관 수, 결측 비율, 클라이언트 이질성(heterogeneity)을 변화시킨다. Fed-ReMasker는 동질(homogeneous) 벤치마크에서 값 수준(value-level) 시나리오의 93.2%, 특징 수준 시나리오의 96.7%에서 최저 대치 오차를 달성한다. 단순 연합 평균(federated averaging)만으로도 클라이언트 이질성에 견고하며, 값 수준 36개 시나리오 전부에서 모든 기준선을 능가하고, 특징 수준 36개 시나리오 각각에서 최소 35개에서 각 기준선을 능가하며, 풀링(pooled) 데이터로 학습한 중앙집중식 모델 대비 평균 3.0% 이내에 머문다.

arXiv:2609.15187v2cs.CV공통 태그 Self-Supervised Learning, Image Reconstruction

어텐션 유도 마스킹은 객체 중심 학습에서 객체 발견에 실제로 도움이 되는가?

Does Attention-Guided Masking Really Help Object Discovery in Object-Centric Learning?

객체 중심 학습(Object-Centric Learning, OCL)은 사람의 어노테이션 없이 이미지를 객체 단위로 분해하는 것을 목표로 한다. 주류 방법의 한 계열은 Slot Attention을 사용해 이미지 특징을 객체 수준 표현으로 집약한 뒤, 이를 바탕으로 마스킹된 이미지 내용, 즉 랜덤 마스킹(Random Masking, RM)을 재구성하여 자기지도 학습 신호를 제공한다. 최근 방법인 DIAS는 이미지 패치를 균일한 무작위성으로 단순히 마스킹함에도 경쟁력 있는 객체 발견 정확도를 달성한다. 집약 과정의 어텐션은 이미 객체 발견 능력을 갖고 있으므로, 이를 활용해 더 나은 이미지 패치 마스킹 전략, 즉 어텐션 유도 마스킹(Attention Guided Masking, AGM)을 개발하고 더 나은 자기지도 학습을 제공하는 방안을 탐구한다. 여섯 개의 널리 인정된 데이터셋에서의 결과는 AGM가 RM보다 항상 우수한 것은 아님을 보여준다. 무조건적 슬롯 초기화 하에서 AGM는 사실적인 텍스처를 가진 데이터셋(COCO 및 VOC)에서 배경 분할을 크게 개선한다. 조건부 또는 무조건적 슬롯 초기화 여부와 데이터셋을 불문하고, 전경 객체 발견은 비슷한 수준이거나 감소한다. OCL 커뮤니티의 동료 연구자들에게, 마스킹 디코딩으로 OCL을 개선하기 위해 내부 어텐션 의미를 활용하려는 시도는 위험할 수 있다고 제안한다. 소스 코드, 모델 체크포인트 및 평가 로그는 https://github.com/und-entropy/Does-Attention-Guided-Masking-Really-Help-Object-Discovery-in-Object-Centric-Learning-. 에서 이용할 수 있다.

arXiv:2609.22379v1cs.CV공통 태그 Self-Supervised Learning, Image Reconstruction

MarsRecon: 화성을 위한 자기지도 및 멀티모달 표면 표현

MarsRecon: Self-Supervised and Multimodal Surface Representations for Mars

고해상도 궤도 영상은 화성 표면에 대한 풍부한 기록을 제공하지만, 지질학적 라벨의 희소성으로 인해 지도 학습 기반의 표현 학습(representation learning)에는 한계가 있다. 본 논문에서는 올림푸스 산(Olympus Mons)의 HiRISE 관측 자료로부터 시각 및 멀티모달(multimodal) 표현을 학습하기 위한 지리공간 인지형 파이프라인인 MarsRecon을 제시한다. 이 파이프라인은 NASA Planetary Data System 데이터를 캘리브레이션하고, 유효한 지리참조 패치를 추출하며, 라벨이 없는 영상에 대해 마스크드 오토인코더(masked autoencoder)를 학습한다. 주요 Stage A 모델 시리즈에서 입력 해상도를 높이고 유효하지 않은 토큰(token)을 필터링함으로써 홀드아웃 재구성 손실을 0.1751에서 0.1342로 감소시켰다. 이어 시각 인코더를 동결(freeze)하고 해당 특징을 관측 텍스트, 좌표, 국소-전역(local-global) 이미지 컨텍스트와 정렬한다. 현재 가장 성능이 뛰어난 국소 우선(local-primary) 모델은 홀드아웃 테스트 분할에서 0.3787의 이미지-텍스트 recall@10(재현율@10), 0.9161의 텍스트-이미지 recall@10, 0.4350의 국소-전역 recall@10을 달성한다. 이러한 결과는 화성에 특화된 실용적인 사전학습(pre-training) 및 검색 파이프라인을 구축함을 보여주며, 해당 임베딩(embedding)의 더 폭넓은 유용성을 평가하기 위해서는 추가적인 크롭 중첩 제어 및 다운스트림 지질학적 평가가 필요하다.

arXiv:2609.24736v1cs.CV공통 태그 Self-Supervised Learning, Image Reconstruction

MiTHras: 유사분열상 분석을 위한 작업 특화 계층적 준지도 대조 마스크드 오토인코더

MiTHras: Task-specific Hierarchical Semi-supervised Contrastive Masked Autoencoder for Mitotic Figure Analysis

유사분열상(MF, mitotic figure) 분석은 종양 등급 판정과 예후 평가를 뒷받침하지만, 자동화 모델은 조직 유형과 영상 획득 방식의 차이에 여전히 민감하다. 본 논문은 의사 레이블(pseudo-label) 기반의 이미지 및 토큰 수준 대조 학습(contrastive learning)과 마스크드 복원(masked reconstruction)을 결합한 작업 특화 사전학습(pretraining) 프레임워크인 MiTHras를 제안한다. 우리는 11개 장기 부위에 걸친 14개 TCGA 코호트에서 추출한 세포 중심 이미지 180만 장으로 구성된 코퍼스인 TCGA-MF-Pseudo를 구축한다. MF 분류(classification), 검출(detection), 개수 기반 생존 예측, 아형 분류에 대한 포괄적 평가를 통해 MiTHras의 효과를 입증한다. MiTHras는 세 가지 MF 분류 벤치마크 전부와 두 가지 아형 벤치마크 모두에서 가장 높은 평균 F1을 달성한다. 또한 MiTHras는 전체 미세조정(fine-tuning) 상황보다 인코더를 고정한 선형 프로빙(linear probing) 상황에서 범용 및 병리 파운데이션 인코더 대비 더 큰 마진(margin)으로 우수한 성능을 보인다. 검출 성능 향상은 후보 검출 단계를 공유하는 구조로 인해 다소 제한적이지만, 절제 실험(ablation)을 통해 토큰 수준 지도(supervision)가 전형-비전형(typical-versus-atypical) 분류와 선형 프로빙을 향상시킨다는 것이 확인된다. 이러한 결과는 MiTHras가 자동화된 유사분열 활성 평가를 위한 견고하고 전이 가능한 표현을 산출한다는 것을 입증한다.

arXiv:2607.22712v2cs.CV공통 태그 Self-Supervised Learning, Image Reconstruction

scMIR: 단일 세포 광학 현미경 이미지 표현을 위한 비전-언어 파운데이션 모델

scMIR: a vision-language foundation model for single-cell light microscopy image representation

단일 세포 광학 현미경 이미지는 세포 표현형(phenotype)을 특성화하는 데 중요한 데이터 원천이 되었지만, 그 복잡성과 이질성(heterogeneity)은 고속 자동 분석에 어려움을 제기한다. 기존 표현 학습(representation learning) 방법은 대부분 과제 지향(task-oriented) 모델링에 의존하며, 이는 특정 데이터셋과 사전 정의된 과제에 제한되어 서로 다른 세포 유형, 현미경 방식(modality), 실험 조건에 걸쳐 일반화하기 어렵다. 최근 범용(general-purpose) 방법이 이미지 표현의 일반화 능력을 향상시켰지만, 실험 배경과 생물학적 문맥 정보의 제한적 활용은 여전히 복잡한 표현형 분석에서 과제를 남긴다. 본 연구에서는 단일 세포 광학 현미경 이미지 표현을 위한 비전-언어 파운데이션 모델인 scMIR을 제안한다. 자기지도(self-supervised) 이미지 재구성과 텍스트 유도 교차 모달 정렬(cross-modal alignment)을 시너지적으로 결합함으로써, scMIR은 형태학적 정보와 생물학적 의미 정보를 통합 표현 공간에서 동시에 인코딩할 수 있다. scMIR은 다양한 세포 유형, 현미경 방식, 교란(perturbation) 조건을 아우르는 207,957개의 이미지-텍스트 쌍으로 사전학습(pre-training)되었다. scMIR은 16개 벤치마크 데이터셋을 사용한 다양한 복잡 과제에 대한 체계적 평가에서 세포 분류, 클러스터링, 표현형 추론, 배치 효과 보정 과제를 포함하여 기존 범용 모델과 과제 지향 방법을 능가한다. 또한 scMIR은 과제별 미세조정 없이도 다양한 과제에 걸쳐 강한 일반화 능력을 보인다. 고유한 장점을 바탕으로, scMIR은 다양한 하류(downstream) 분석 과제를 지원함으로써 고속 표현형 분석(phenotyping) 워크플로의 표준화와 자동화를 촉진할 수 있을 것으로 기대한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.