arXiv:2109.07504

Federated Contrastive Learning for Decentralized Unlabeled Medical Images

Nanqing Dong, Irina Voiculescu

제출 2021-09-15

원문 초록

A label-efficient paradigm in computer vision is based on self-supervised contrastive pre-training on unlabeled data followed by fine-tuning with a small number of labels. Making practical use of a federated computing environment in the clinical domain and learning on medical images poses specific challenges. In this work, we propose FedMoCo, a robust federated contrastive learning (FCL) framework, which makes efficient use of decentralized unlabeled medical data. FedMoCo has two novel modules: metadata transfer, an inter-node statistical data augmentation module, and self-adaptive aggregation, an aggregation module based on representational similarity analysis. To the best of our knowledge, this is the first FCL work on medical images. Our experiments show that FedMoCo can consistently outperform FedAvg, a seminal federated learning framework, in extracting meaningful representations for downstream tasks. We further show that FedMoCo can substantially reduce the amount of labeled data required in a downstream task, such as COVID-19 detection, to achieve a reasonable performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28471v1cs.CL공통 태그 Data Augmentation, Contrastive Learning

저작자 검증을 위한 대조 학습

Contrastive Learning for Authorship Verification

우리 결과는 테스트된 설정에서 저작자 검증에 대한 분류 기반 접근법보다 대조 학습이 더 우수한 성능을 보임을 나타낸다. 손실 함수, 배치 크기, 학습 기간, 사전학습 모델, 입력 컨텍스트 길이, 무작위 텍스트 구간 데이터 증강을 모델 성능의 중요한 요인으로 확인했다. 이러한 고려사항을 바탕으로 PAN21 저작자 검증 태스크에서 98.4% 정확도를 달성하는 ModernBERT Bi-Encoder 모델을 개발했다.

arXiv:2609.24125v1cs.CV공통 태그 Data Augmentation, Contrastive Learning

양성 쌍 기하학의 중요성: 시각적 표현의 대조 학습을 위한 최적 수송

Positive Pair Geometry Matters: Optimal Transport for Contrastive Learning of Visual Representations

대조 자기지도학습(contrastive self-supervised learning)은 동일한 이미지의 여러 증강된 뷰(view)로부터 표현을 학습하여 뛰어난 성능을 달성해 왔습니다. 그러나 기존의 대부분 방법들은 독립적으로 샘플링된 확률적 증강을 사용하여 양성 쌍(positive pair)을 구성하므로, 시맨틱 콘텐츠를 변형시키고 데이터 분포의 본질적인 기하학(geometry)을 무시할 수 있습니다. 본 연구에서는 기하학적으로 일관된 양성 샘플을 생성하는, 표현의 대조 학습을 위한 최적 수송(optimal transport) 인식 프레임워크인 OTCLR을 제안합니다. 무작위로 증강된 두 뷰를 직접 대조하는 대신, 엔트로피 최적 수송 변위 보간(entropic optimal-transport displacement interpolation)을 통해 원본 이미지와 증강 변형 사이의 중간 뷰들을 구성합니다. 이렇게 수송 보간된 샘플들은 공간적 분포 기하학을 명시적으로 모델링하면서 이미지 구조를 더욱 잘 보존하는 양성 뷰 역할을 합니다. 매끄러운 표현 학습을 더욱 촉진하기 위해, 수송 보간된 뷰들이 끝점 이미지들과 일관성을 유지하도록 유도하는 보조 Sinkhorn 정규화 항을 평가합니다. 제안된 방법은 인코더 아키텍처를 수정하지 않고도 표준 대조 학습 파이프라인에 통합될 수 있습니다. 여러 벤치마크 데이터셋에 대한 실험을 통해, 본 접근법이 기존 증강 기반 대조 학습 베이스라인에 비해 표현 품질과 전이학습 성능을 향상시킴을 보여줍니다.

arXiv:2607.20450v1cs.CL공통 태그 Data Augmentation, Contrastive Learning

ShriNep@EEUCA 2026: RAKSHAK - 근거 증류와 Jigsaw 증강 학습을 활용한 다중 과제 DeBERTa 기반 독성 의도 분류

ShriNep@EEUCA 2026: RAKSHAK - Multi-Task DeBERTa with Rationale Distillation and Jigsaw-Augmented Training for Toxic Intent Classification

본 논문은 ACL 2026 EEUCA 워크숍의 GameTox 공유 과제를 위한 두 가지 시스템을 제시한다. 이 과제는 World of Tanks 채팅 발화를 6개의 세분화된 독성 의도 범주(레이블 0-5)로 분류하는 것을 요구한다. 심각한 클래스 불균형, 도메인 특화 다국어 슬랭, 그리고 위협(레이블 4, 60개 샘플)과 극단주의(레이블 5, 24개 샘플)와 같은 희귀 범주에 대한 극히 부족한 데이터로 인해 이는 어려운 분류 문제가 된다. 주 제출 시스템인 RAKSHAK(rakṣaka, 산스크리트어로 "수호자")는 Qwen2.5-14B(An et al., 2024)로부터의 근거 증류(rationale distillation), 지도 대조 손실(Supervised Contrastive Loss), 희귀 클래스 전용 이진 헤드를 결합한 다중 과제 DeBERTa-v3-base(He et al., 2022) 프레임워크이다. RAKSHAK의 학습 데이터는 Jigsaw Toxic Comment 데이터셋(16,225개 샘플, 레이블 1-4에 매핑)의 교차 도메인 전이와 레이블 5를 위한 LLM 생성 극단주의 샘플 100개로 증강되었다. 보조 시스템(M1)은 Jigsaw 전이 없이 원본 GameTox 데이터와 동일한 극단주의 샘플 100개에 Focal Loss를 적용하여 DeBERTa-v3-base를 파인튜닝한다. RAKSHAK는 공식 테스트셋에서 Macro F1 0.5883을 달성하여 35개 참가 팀 중 7위를 기록했으며, M1은 Macro F1 0.5252를 달성했다. Jigsaw 데이터 유무에 따른 M1의 ablation 비교 결과, 교차 도메인 전이는 F1 +2.6점을, RAKSHAK의 다중 과제 아키텍처는 추가로 +3.7점을 기여하는 것으로 나타났다.

arXiv:2607.14613v1cs.LG공통 태그 Data Augmentation, Contrastive Learning

장꼬리 심전도 부정맥 진단을 위한 각도 Gaussian 지도 대조 학습

Angular Gaussian Supervised Contrastive Learning for Long-Tailed Electrocardiogram Arrhythmia Diagnosis

장꼬리 라벨 분포는 심전도(ECG) 부정맥 진단에서 심층 학습의 신뢰성을 저하시키며, 특히 임상적으로 중요하지만 희귀한 이상 소견에서 두드러진다. 기존의 재균형화 및 로짓 조정 방법은 주로 클래스 빈도를 다루면서 ECG 클래스 간 방향 의존적 형태학적 가변성은 간과한다. 본 연구는 장꼬리 다중 라벨 ECG 진단을 위한 각도 Gaussian 지도 대조 학습(Angular Gaussian Supervised Contrastive Learning, AG-SCL)을 제안한다. AG-SCL은 세 가지 구성 요소를 통합 프레임워크로 결합한다: 단위 정규화 임베딩(embedding) 상에서 완전 공분산 클래스 불확실성을 모델링하는 각도 Gaussian 대조 분기, 고정된 빈도 기반 마진 대신 유계 라벨-상태별 사전(prior) 보정을 학습하는 적응형 로짓 조정(Adaptive Logit Adjustment), 그리고 7-25 Hz QRS 우세 대역을 보호하면서 형태 보존 뷰를 생성하는 꼬리 인식(tail-aware) 증강. 해당 방법은 공개 PTB-XL 벤치마크와 141명의 피험자로부터 수집한 1317시간 기록으로 구성된 야간 ECG 데이터셋에서 평가되었다. AG-SCL은 두 데이터셋 모두에서 최고의 매크로 수준 성능을 달성했다. PTB-XL에서 균형 정확도 0.838, 민감도 0.709, 특이도 0.968, 평균 평균 정밀도(mAP) 0.495, FPR 5%에서의 TPR 0.778을 얻었다. Noc-ECG에서는 해당 값이 각각 0.918, 0.889, 0.947, 0.488, 0.900이었다. 가장 큰 향상은 희귀하거나 형태학적으로 불안정한 리듬 클래스에서 나타났으며, ablation 연구는 완전 공분산 모델링, 적응형 로짓 조정, 꼬리 인식 증강의 기여를 확인했다. AG-SCL은 사전 보정과 이방성(anisotropic) 표현 학습을 결합함으로써 장꼬리 ECG 진단을 개선하며, 임상적으로 관련 있는 특이도를 유지하면서 희귀 부정맥에 대한 민감도를 향상시킨다. 코드는 https://github.com/Open-EXG/AG-SCL-for-Long-Tailed-ECG 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.