Continual Learning for Peer-to-Peer Federated Learning: A Study on Automated Brain Metastasis Identification
원문 초록
Due to data privacy constraints, data sharing among multiple centers is restricted. Continual learning, as one approach to peer-to-peer federated learning, can promote multicenter collaboration on deep learning algorithm development by sharing intermediate models instead of training data. This work aims to investigate the feasibility of continual learning for multicenter collaboration on an exemplary application of brain metastasis identification using DeepMedic. 920 T1 MRI contrast enhanced volumes are split to simulate multicenter collaboration scenarios. A continual learning algorithm, synaptic intelligence (SI), is applied to preserve important model weights for training one center after another. In a bilateral collaboration scenario, continual learning with SI achieves a sensitivity of 0.917, and naive continual learning without SI achieves a sensitivity of 0.906, while two models trained on internal data solely without continual learning achieve sensitivity of 0.853 and 0.831 only. In a seven-center multilateral collaboration scenario, the models trained on internal datasets (100 volumes each center) without continual learning obtain a mean sensitivity value of 0.699. With single-visit continual learning (i.e., the shared model visits each center only once during training), the sensitivity is improved to 0.788 and 0.849 without SI and with SI, respectively. With iterative continual learning (i.e., the shared model revisits each center multiple times during training), the sensitivity is further improved to 0.914, which is identical to the sensitivity using mixed data for training. Our experiments demonstrate that continual learning can improve brain metastasis identification performance for centers with limited data. This study demonstrates the feasibility of applying continual learning for peer-to-peer federated learning in multicenter collaboration.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화
Private Decentralized Optimization with Noise Reduction and Bias Correction
프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.
적응이 해가 될 때: 연합 학습 웨어러블 온보딩에서의 분할 민감성과 개인 수준 부정적 전이
When Adaptation Hurts: Split Sensitivity and Person-Level Negative Transfer in Federated Wearable Onboarding
연합 학습 웨어러블 모델은 결국 소스 학습에 포함되지 않은 사람들에게 서비스를 제공하지만, 유리한 평균 정확도만으로는 라벨 없는 온보딩이 각 개인에게 도움이 된다는 것을 입증하지 않는다. 우리는 다섯 개의 웨어러블 데이터셋에서 여섯 가지 핵심 온보딩 전략을, 소스 체크포인트를 고정하고 정규화는 소스 데이터만으로 추정하며, 보정과 평가 기록을 분리하고, 윈도우·기기·무작위 시드가 아닌 보류(hold-out)된 사람 단위로 추론을 수행하는 누출 통제 프로토콜 하에서 평가한다. 적격한 HHAR 및 PAMAP2의 외부-개인(person) 로테이션을 모두 완료하면 원래 고정(frozen) fold에서 얻은 결론이 실질적으로 달라진다. HHAR에서 해당 단일 개인에 대한 균형 정확도(balanced accuracy)는 방법에 걸쳐 95.6–97.2%인 반면 아홉 명의 사용자 전체에서는 78.3–83.0%로, 13.8–17.8 percentage points(pp) 감소한다. 두 데이터셋 모두에서 표시되는 평균 1위 방법이 바뀌지만, paired leader-runner 부트스트랩 구간은 0을 포함하여 우월한 방법을 판별하지 못한다. 어떤 적응형 핵심 메커니즘도 다섯 데이터셋 모두에서 양의 평균 이득과, 시드 평균 후 2pp를 초과하는 개인 수준 손실이 전혀 없는 조합을 동시에 만족하지 않는다. FedBN은 그러한 손실이 하나이고 ATP-style 적응은 여덟 개이며, Feature-only는 시드 평균 후에는 없지만 정확한 일측 95% 상한은 7.6%이다. 보완적 seed-person 스트레스 감사(audit)는 FedBN, ATP-style, Feature-only에 대해 각각 114회 중 4, 22, 10건의 해로운 realization을 기록한다. 이는 독립적인 참가자가 아니라 반복된 realization이다. 꼬리(tail) 품질, 보정 가용성, 낙상(fall) 윈도우 특이성은 평균 정확도에 가려진 추가적 실패를 드러낸다. 따라서 본 연구는 보편적 우월성이나 배포 안전성 주장이 아니라, 감사 가능한 개발 벤치마크와 실패 지도를 제공한다.
연합 MLLM 미세조정을 위한 탄성 정규화 및 합성 리플레이 기반 지속 학습
Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning
분산 네트워크 전반에 걸친 멀티모달 대규모 언어 모델(MLLM)의 연합 미세조정은 진화하는 데이터 스트림에 대한 프라이버시 민감 적응을 가능하게 하지만, 동적 환경에서의 견고한 배포를 막는 근본적 장애물이 존재한다: 순차적 과제 업데이트가 시각, 언어, 교차 모달 표현에 걸쳐 이전에 습득한 지식을 지워버리는 치명적 망각(catastrophic forgetting)이다. 이러한 과제를 해결하는 것은 콘텐츠 검열과 같은 안전성 민감 영역에서 운용되는 자율 연결형 AI에 특히 중요하며, 여기서 이전 지식의 신뢰할 수 있는 유지는 시스템 무결성의 기반이 된다. 이를 극복하기 위해, 우리는 연합 지속 다중모달 학습(FedCMM)을 제안한다. 이는 세 가지 상호 보완적 수준에서 연합 최적화 루프에 지속 학습 보호 장치를 내장하는 프레임워크이다. 매개변수 수준에서, 모달리티 인식 탄성 가중치 통합(elastic weight consolidation)은 비전 인코더, 언어 백본, 교차 모달 프로젝터에 대해 각각 별도의 Fisher 정보 행렬을 계산하여, 모달리티 특화 망각에 대한 세밀하고 비대칭 인식 보호를 제공한다. 데이터 수준에서, 각 클라이언트는 경량 로컬 생성형 리플레이 모듈을 학습하여 원시 데이터 공유 없이 원시 데이터 없는 임베딩 수준 멀티모달 리플레이 튜플을 합성한다. 집계 수준에서, 과제 유사도 인식 그래디언트 집계는 그래디언트 코사인 유사도에 따라 클라이언트 업데이트를 자율적으로 필터링하고 재가중하여 충돌하는 방향을 억제하고 전역 학습 궤적을 안정화한다. 두 벤치마크에 대한 광범위한 실험은 FedCMM이 정확도와 역방향 전이(backward transfer)에서 최근 베이스라인을 일관되게 능가함을 보여주며, 전체적이고 모달리티 인식 최적화가 이질적인 연결형 AI 배포 전반에 걸쳐 견고한 진화적 적응을 가능하게 함을 확인한다.
HERO: 연합 지속 학습을 위한 이질성 인식 벤치마크 라이브러리
HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning
연합 지속 학습(FCL)은 분산된 클라이언트들이 변화하는 데이터 스트림에서 학습하면서 이전에 학습한 지식을 유지하는 방식을 평가한다. 기존 평가들은 데이터셋, 태스크 분할, 클라이언트 데이터 분할, 태스크 순서, 백본, 메모리 가정, 보고 규칙을 동시에 변경하는 경우가 많아 비교가 어렵다. 우리는 FCL을 위한 이질성 인식 벤치마크 라이브러리인 HERO를 소개한다. HERO는 흔히 결합되어 있는 세 가지 선택, 즉 태스크 분할, 클라이언트 데이터 분할, 클라이언트 태스크 시퀀스를 분리하여 벤치마크 스트림을 구성한다. 주요 비교 벤치마크인 HERO-Core에서 α는 클라이언트 데이터 편중을 제어하고, ρ는 태스크 순서 불일치를 제어한다. 우리는 CIFAR-100과 TinyImageNet에서 대표적인 FCL 방법들을 최종 평균 정확도, 평균 망각, 하위 10% 클라이언트 정확도를 기준으로 평가한다. 또한 OGB-MolPCBA를 대상으로 그래프 기반 Domain-IL 이식성 사례 연구를 포함하며, 여기서는 스캐폴드 도메인 세분성이 입력 분포를 변화시키는 동안 예측 태스크는 고정된 채로 유지된다. 실험 결과, 방법의 동작이 쉬운 설정과 이질적인 설정에 걸쳐 변화하며, 평균 정확도가 하위 클라이언트의 낮은 성능을 은폐할 수 있고, 태스크 순서 불일치가 동기화된 평가와는 다른 전략을 선호하며, 동일한 HERO 인터페이스가 이미지 기반 FCIL을 넘어 도메인 이동 난이도를 노출할 수 있음을 보인다. HERO는 재현 가능하고 설정 인식적인 FCL 평가를 지원하기 위해 벤치마크 스트림, 구성, 방법 구현, 보고 스크립트를 공개한다.
매개변수화된 CEC 2017 벤치마크를 이용한 변환의 민감도 분석
Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark
CEC 2017은 편향(bias), 이동(shift), 회전(rotation)을 동시에 적용하므로 각각이 알고리즘 동작에 미치는 개별 효과가 가려진다. 우리는 원래의 함수와 변환 데이터를 보존하면서 이들을 독립적으로 제어하는 매개변수화된 구현을 소개한다. 이를 이용하여, 예측 후보 메커니즘이 수치적 목적함수 값과 좌표별 재구성에 의존하는 하이브리드 해양 포식자 알고리즘(hMPA)을 진단한다. 심층 통계 비교(DSC)와 확장 DSC(eDSC)를 알고리즘 수준의 비교에서 구성 수준의 진단으로 적응시켰다. 우리가 아는 한, 이는 매개변수화된 CEC 2017 벤치마크의 편향-이동-회전 8개 구성 전체에 대한 최초의 철저한 DSC 및 eDSC 분석이다. 29개 함수, 차원 10, 30, 50, 100, 30회의 독립 실행, 차원당 10,000회의 목적함수 평가라는 고정 예산을 사용하여, 가능한 56개의 3개 구성 부분집합 전부와 변환하지 않은 대조군과의 비교를 검토한다. DSC와 eDSC는 모든 차원에서 구성 간 통계적으로 유의한 차이를 보이지만, 순위는 함수에 따라 달라 일관된 순서를 정할 수 없다. 대부분의 개별 효과 크기 신뢰구간은 0을 포함한다. 0을 포함하지 않는 경우 중에서는, 차원 10에서는 MPA가, 차원 50과 100에서는 hMPA가 유리한 비교가 더 많다. 이동은 대체로 목적함수 값 결과를 악화시킨다. 단독 회전은 체계적인 성능 저하를 일으키지 않으며, 단독 편향은 최종 해 분포를 거의 바꾸지 않는다. 이동과 회전의 결합은 대조군과 가장 일관되게 다르다. 수렴 곡선은 함수 및 차원에 따라 달라지는 분리, 정체 구간, 후반부 개선을 보여 준다. 수치적 결과는 hMPA에 한정되지만, 이 프레임워크는 다른 연속 최적화 알고리즘으로 확장될 수 있고 CEC 2024 및 CEC 2025를 포함한 관련 CEC 벤치마크에도 적용할 수 있다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.