PyTorchKR Papers

업데이트된 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2412.10537v5cs.CR

ExclaveFL: Exclave를 이용한 연합학습의 검증 가능한 주장

ExclaveFL: Verifiable Claims for Federated Learning using Exclaves

연합학습(FL)에서 데이터 제공자들은 학습 데이터를 공유하지 않고 기계학습 모델을 공동으로 학습한다. 이 때문에 사용된 학습 데이터, 데이터 정제, 학습 알고리즘 등 학습된 모델에 관한 검증 가능한 주장을 제공하기 어렵다. 악의적인 데이터 제공자가 탐지되지 않은 채 올바른 학습 프로토콜에서 벗어날 수 있기 때문이다. 기존 FL 학습 시스템은 TEE의 기밀성과 무결성에 의존하여 학습 연산을 보호하기 위해 신뢰 실행 환경(TEE)을 사용해 왔다. 그러나 TEE의 기밀성은 예를 들어 부채널을 통한 다양한 공격에 취약한 것으로 밝혀졌다. 우리는 세밀한 런타임 증명(attestation) 증거를 통해 모델에 관한 검증 가능한 주장을 확립하는 FL 모델 학습 시스템인 ExclaveFL을 기술한다. 이러한 증거는 무결성만을 요구하므로, ExclaveFL은 소프트웨어가 관리하는 비밀이 없는 무결성 전용 실행 환경인 exclave를 사용하여 이를 생성하며, 이로써 데이터 유출 공격에 영향을 받지 않는다. ExclaveFL은 exclave를 사용해 FL 학습 중의 데이터 변환을 증명하고, 런타임 증명 증거는 전체 학습 연산에 대한 증명된 데이터 흐름 그래프를 구성한다. 감사자는 이 그래프를 검사하여, 예를 들어 데이터 제공자의 데이터 정제 사용이나 모델 제공자의 집계에 관한 주장을 학습된 모델이 만족하는지 확인한다. exclave는 사소하지만 독점적인 펌웨어 변경을 필요로 하므로, 기존 AMD SEV-SNP 하드웨어에서 유사한 성능을 갖되 보안 보장이 다소 약한 변형을 평가한다. ExclaveFL이 보호되지 않은 FL 모델 학습에 비해 12% 미만의 오버헤드를 발생시킴을 보인다.

arXiv:2404.09443v2cs.LG

Hybrid FedGraph: 그래프 합성곱 신경망을 이용한 효율적인 하이브리드 연합 학습 알고리즘

Hybrid FedGraph: An efficient hybrid federated learning algorithm using graph convolutional neural network

연합 학습은 데이터를 중앙 서버에 공개하지 않고 분산된 클라이언트에서 기계 학습 모델을 분산 방식으로 학습하는 새로운 패러다임이다. 기존 연구의 대부분은 각 클라이언트가 특징을 공유하는 서로 다른 샘플을 보유하는 수평적 데이터 분포, 또는 각 클라이언트가 샘플 인덱스만 완전히 공유하는 수직적 데이터 분포에 초점을 맞추어 왔다. 그러나 하이브리드 방식은 실제 환경에서 훨씬 더 흔함에도 불구하고 연구가 훨씬 부족하다. 따라서 본 논문에서는 일부 클라이언트로부터 특징을 학습하면서 특징 공유 정보를 포착하기 위해 그래프 합성곱 신경망을 도입한 일반화된 알고리즘 FedGraph를 제안한다. 또한 데이터 프라이버시를 보존하면서 각 클라이언트의 심층 신경망이 생성한 특징을 집계하는 단순하지만 효과적인 클러스터링 알고리즘을 개발한다.

arXiv:2402.13989v4cs.LG

FedADMM-InSa: 연합 학습을 위한 비정확 자기 적응형 ADMM

FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning

연합 학습(FL)은 프라이버시를 유지하면서 분산 데이터로부터 학습하는 유망한 프레임워크이다. 효율적인 FL 알고리즘의 개발은 이질적인 데이터와 시스템, 제한된 통신 용량, 제약된 로컬 계산 자원 등 여러 도전 과제에 직면한다. 최근 개발된 FedADMM 방법은 데이터와 시스템의 이질성 모두에 대해 높은 강건성을 보인다. 그러나 하이퍼파라미터를 신중하게 조정하지 않으면 여전히 성능 저하를 겪는다. 이 문제를 해결하기 위해 우리는 비정확 자기 적응형 FedADMM 알고리즘인 FedADMM-InSa를 제안한다. 먼저, 로컬 학습 정확도를 경험적으로 설정할 필요가 없도록 클라이언트의 로컬 업데이트에 대한 비정확성 기준을 설계한다. 이 비정확성 기준은 각 클라이언트가 자신의 고유한 조건에 따라 독립적으로 평가할 수 있으므로, 로컬 계산 비용을 줄이고 바람직하지 않은 낙오자(straggler) 효과를 완화한다. 그 결과로 얻은 비정확 ADMM의 수렴성은 강볼록 손실 함수를 가정하여 증명된다. 또한 각 클라이언트의 페널티 매개변수를 동적으로 조정하는 자기 적응 기법을 제시하여, 클라이언트별 페널티 매개변수를 경험적으로 선택할 필요를 줄임으로써 알고리즘의 강건성을 높인다. 합성 및 실제 데이터셋에 대해 폭넓은 수치 실험을 수행하였다. 수치 실험으로 검증된 바와 같이, 제안한 알고리즘은 기본 FedADMM에 비해 클라이언트의 로컬 계산 부하를 크게 줄이고 학습 과정도 가속할 수 있다. 소스 코드는 https://github.com/DCN-FAU-AvH/FedADMM-InSa 에서 확인할 수 있다.

arXiv:2308.06822v4cs.LG

Approximate and Weighted Data Reconstruction Attack in Federated Learning

Federated Learning (FL) is a distributed learning paradigm that enables multiple clients to collaborate on building a machine learning model without sharing their private data. Although FL is considered privacy-preserved by design, recent data reconstruction attacks demonstrate that an attacker can recover clients' training data based on the parameters shared in FL. However, most existing methods fail to attack the most widely used horizontal Federated Averaging (FedAvg) scenario, where clients share model parameters after multiple local training steps. To tackle this issue, we propose an interpolation-based approximation method, which makes attacking FedAvg scenarios feasible by generating the intermediate model updates of the clients' local training processes. Then, we design a layer-wise weighted loss function to improve the data quality of reconstruction. We assign different weights to model updates in different layers concerning the neural network structure, with the weights tuned by Bayesian optimization. Finally, experimental results validate the superiority of our proposed approximate and weighted attack (AWA) method over the other state-of-the-art methods, as demonstrated by the substantial improvement in different evaluation metrics for image data reconstructions. The source code is available at https://github.com/DCN-FAU-AvH/FL-AWA-attack.

arXiv:2502.21012v3cs.DC

FedDyMem: 비지도 이미지 이상 탐지를 위한 동적 메모리와 메모리 축소 기반의 효율적 연합 학습

FedDyMem: Efficient Federated Learning with Dynamic Memory and Memory-Reduce for Unsupervised Image Anomaly Detection

비지도 이미지 이상 탐지(UAD)는 라벨이 지정된 이상 데이터 없이 정상 샘플만으로 모델을 학습하는 방식으로, 산업 및 의료 분야에서 핵심적인 과정이 되었다. 그러나 정상 이미지조차 민감한 제품 설계, 제조 정보 또는 기관별 집단 특성을 포함할 수 있어, 실제 배포 환경에서 중앙집중식 데이터 수집은 어렵다. 연합 UAD는 유망한 분산형 해법을 제공하지만, 클라이언트가 정상 학습 샘플만 사용하고, 동일한 작업 내에서도 특징 분포가 매우 이질적이며, 민감한 클라이언트 정보의 노출을 제한하면서 통신이 효율적이어야 하므로 여전히 어려운 과제이다. 이러한 과제를 해결하기 위해 본 논문은 비지도 이미지 이상 탐지를 위한 동적 메모리와 메모리 축소 기반의 효율적인 연합 학습 방법인 FedDyMem을 제안한다. FedDyMem은 전체 모델 파라미터를 교환하는 대신, 축소된 동적 메모리 뱅크를 통해 클라이언트와 서버 간의 지식 공유를 촉진한다. 로컬 클라이언트에서는 메모리 생성기와 메트릭 손실을 사용하여 정상 샘플의 특징 분포 일관성을 향상시키고, 로컬 모델을 활용해 메모리 뱅크를 동적으로 갱신한다. 효율적인 통신과 데이터 프라이버시를 위해 가중 평균에 기반한 메모리 축소 방법을 제안하여 메모리 뱅크의 규모를 크게 줄인다. 이러한 표현은 통신 오버헤드를 줄이며, 경험적으로 역전 공격에서의 복원 충실도를 낮춘다. 서버에서는 전역 메모리를 구성하고 k-평균 집계를 통해 각 클라이언트에 배포한다. 11개의 공개 산업 및 의료 데이터셋으로 구성한 6개의 연합 UAD 과제에 대한 실험에서, FedDyMem은 통신 비용을 줄이면서 이상 탐지와 위치 추정 성능을 일관되게 향상시켰다.

arXiv:2607.07888v2cs.LG

OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭

Distributed Sketching on Data Partitions for OLS Regression

본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.

arXiv:2503.06993v2cs.LG

CAPT: 비전-언어 모델을 활용한 연합 롱테일 학습을 위한 클래스 인식 프롬프트 튜닝

CAPT: Class-Aware Prompt Tuning for Federated Long-Tailed Learning with Vision-Language Model

비독립동분포(non-IID) 데이터와 롱테일 분포의 결합 효과를 효과적으로 다루는 것은 연합 학습에서 여전히 핵심 과제이다. CLIP과 같은 비전-언어 모델(VLM)을 미세 조정하는 것이 non-IID 시나리오를 다루는 데 가능성을 보였지만, 이질성과 롱테일 분포가 함께 존재할 때는 꼬리 클래스 성능을 저하시키는 경우가 많고 심지어 전체 성능이 제로샷 기준선 아래로 떨어지기도 한다. 이를 극복하기 위해 우리는 사전 학습된 VLM을 활용하여 non-IID 및 롱테일 데이터로부터 효과적으로 학습하는 새로운 프레임워크인 클래스 인식 프롬프트 튜닝(CAPT)을 제안한다. 구체적으로 CAPT는 클래스 인식 프롬프트와 일반 프롬프트를 상호 보완적으로 결합하는 이중 프롬프트 메커니즘을 도입하여, 모델이 전역적 경향을 포착하면서 클래스별 정보를 보존할 수 있게 한다. 나아가 프롬프트가 목표 지식을 학습하도록 유도하기 위해 두 가지 핵심 요소를 갖는 이질성 인식 군집화 전략을 제안한다. 유사도 기반 군집은 클래스 인식 프롬프트를 집계하여 꼬리 클래스 특화 지식을 강화하고, 이질성 기반 군집은 일반 프롬프트를 집계하여 다양한 표현의 균형을 맞추고 강건한 일반화를 촉진한다. 폭넓은 실험을 통해 CAPT가 최신 방법들을 크게 능가함을 보이며, 예를 들어 기준선 대비 ImageNet-LT에서 전체 정확도를 6.1%, Places-LT에서 8.8% 향상시키는 한편 다른 벤치마크에서도 꼬리 클래스 성능을 크게 높인다.

arXiv:2609.27611v2cs.CV

A generalizable structural brain MRI foundation model via dual-priority federated pretraining

Foundation models hold promise for generalizable analysis of structural brain magnetic resonance imaging (MRI) scans across diverse populations and imaging conditions. However, existing models typically rely on centralized pretraining using data pooled across cohorts, which is constrained by privacy and data-governance requirements. Moreover, larger cohorts can dominate optimization, underutilizing anatomical information from smaller cohorts and limiting generalization. Here we present BrainFedFM, a structural brain MRI foundation model federatively pretrained on 164,707 three-dimensional scans drawn from diverse real-world data distributions and organized across 42 federated sites. BrainFedFM uses dual-priority federated pretraining, in which spatial-priority masking emphasizes informative anatomical regions during local training, while site-priority aggregation adaptively weights contributions during global aggregation. Across 20 downstream datasets spanning 17 classification, regression and segmentation tasks, BrainFedFM achieved the state-of-the-art performance across seven foundation models, including four centralized models, while showing consistent advantages in classification and regression tasks and strong robustness under underrepresented populations and challenging imaging conditions. These findings demonstrate the generalizability of BrainFedFM and highlight federated pretraining as a practical strategy for developing neuroimaging foundation models from distributed data without pooling raw images.