PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.04611v3cs.LG

모의 공격 패턴을 통한 크로스 사일로 연합학습에서의 동적 무임승차 탐지

Dynamic Free-Rider Detection in Cross-Silo Federated Learning via Simulated Attack Patterns

연합학습(FL)은 개인 데이터를 공유하지 않고 로컬 업데이트를 집계함으로써 여러 클라이언트가 글로벌 모델을 협력하여 학습할 수 있도록 지원합니다. 본 연구에서는 각 클라이언트가 독립된 조직을 대표하는 크로스 사일로(cross-silo) 연합학습에 초점을 맞춥니다. 그러나 크로스 사일로 연합학습은 기여하지 않고 글로벌 모델을 획득하기 위해 실제 학습을 수행하지 않은 채 가짜 모델 파라미터를 제출하는 클라이언트인 무임승차자(free-rider) 문제에 직면할 수 있습니다. Chen 등은 모델 파라미터의 가중치 진화 빈도(WEF)를 기반으로 한 무임승차자 탐지 방법을 제안했습니다. 이 탐지 방식은 프록시 데이터셋이나 사전학습이 모두 필요하지 않기 때문에 실용적입니다. 그럼에도 불구하고 초기 라운드에는 정직하게 행동하다가 이후 무임승차로 전환하는 '동적' 무임승차자를 탐지하는 데 어려움을 겪으며, 특히 델타 가중치 공격 및 본 논문에서 새로 제안하는 적응형 WEF 위장 공격과 같은 글로벌 모델 모방 공격 환경에서 더욱 그러합니다. 본 논문에서는 이전에 브로드캐스트된 글로벌 모델을 활용하여 서버 측에서 잠재적인 글로벌 모델 모방 공격의 WEF 패턴을 시뮬레이션하고, 제출된 WEF 패턴이 시뮬레이션된 패턴과 유사한 클라이언트를 식별하는 새로운 탐지 방법인 S2-WEF를 제안합니다. 다양한 무임승차자 공격 전략을 처리하기 위해, S2-WEF는 이러한 시뮬레이션 기반 유사도 점수와 제출된 WEF 간의 상호 비교를 통해 계산된 편차 점수를 결합하며, 2차원 클러스터링 및 점수별 분류를 통해 정상 클라이언트와 무임승차자 클라이언트를 분리합니다. 이 방법은 프록시 데이터셋이나 사전학습 없이도 학습 도중 무임승차자로 전환하는 클라이언트를 동적으로 탐지할 수 있도록 합니다. 우리는 4개의 데이터셋과 5가지 공격 유형에 걸쳐 광범위한 실험을 수행하여, S2-WEF가 다양한 설정에서 견고한 동적 무임승차 탐지 기능을 제공함을 입증합니다.

arXiv:2410.23660v2cs.LG공식 코드 · Papers with Code

로컬 슈피리어 수프: 크로스 사일로 연합학습에서 모델 병합의 촉매제

Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning

연합학습(FL)은 분산된 데이터를 활용하여 모델의 협력적 학습(training)을 가능하게 하는 학습 패러다임입니다. 최근 연합학습에서 사전학습(pre-training)된 가중치(weight) 초기화(initialization)의 활용이 모델(model) 성능을 효과적으로 향상시키는 것으로 입증되었습니다. 그러나 파라미터의 상당한 증가로 특징지어지는 현재 사전학습 모델의 복잡성 증가는 연합학습 적응에 필요한 통신 라운드와 관련된 문제를 현저히 가중시킵니다. 이러한 통신 비용 문제를 해결하고 연합학습에서 사전학습 모델 적응의 성능을 높이기 위해, 본 논문에서는 '로컬 슈피리어 수프(Local Superior Soups)'라는 혁신적인 모델 보간 기반 로컬 학습 기법을 제안합니다. 제안하는 방법은 서로 다른 클라이언트 전반의 로컬 학습을 개선하며, 정규화된 모델 보간을 통해 적은 통신 라운드 내에서 연결된 낮은 손실(loss) 분지의 탐험(exploration)을 유도합니다. 이 접근 방식은 연합학습에서 사전학습 모델의 원활한 적응을 위한 촉매제 역할을 합니다. 널리 사용되는 다양한 연합학습 데이터셋 전반에서 본 방법의 효과성과 효율성을 입증하였습니다. 코드는 https://github.com/ubc-tea/Local-Superior-Soups 에서 확인할 수 있습니다.