PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.07157v2cs.LG

적응형 서브 모델 연합 학습에서의 용량 교란 요인과 커버리지 보장

Capacity Confounds and Coverage Guarantees in Adaptive Sub-model Federated Learning

서브 모델 연합 학습(federated learning)은 자원이 제한된 클라이언트가 글로벌 모델의 너비(width)가 축소된 버전을 학습할 수 있도록 하지만, 기존 방식들은 디바이스 자원만을 기준으로 용량을 할당합니다. 이에 대한 자연스러운 다음 단계로, 학습에서 파생된 신호로 서브 모델 크기를 결정하는 최근 방법들에서 착안하여 서버가 이미 관찰한 업데이트를 통해 추정된 각 클라이언트의 데이터 이질성(data heterogeneity)에 따라 용량을 할당하는 방식을 고려해 볼 수 있습니다. 본 논문에서는 적응형 용량 할당 프레임워크인 HAS-FL을 테스트 케이스로 삼아 이러한 단계가 실현 가능한지 질문을 던집니다. 첫째, 재현 가능한 분할 상에서 실측 라벨 분포 다이버전스(divergence)를 기준으로 검증한 결과, 클라이언트 이질성에 대한 업데이트 다이버전스 추정치는 데이터가 아닌 용량에 지배됩니다. 두 이미지 벤치마크 및 모든 시드에서 이 추정치는 디바이스 용량과 강한 음의 상관관계를 보이며, 용량을 통제하고 나면 데이터 이질성과의 연관성은 0에 가깝거나 음수로 나타납니다. 서브 모델 업데이트로부터 클라이언트 통계량을 추정하는 모든 방법은 이전에 보고되지 않은 이러한 교란(confound)에 노출됩니다. 둘째, 적응형 할당에는 숨겨진 실패 모드가 존재합니다. 모든 클라이언트가 전체 너비 미만으로 제한될 경우, 커버되지 않은 매개변수(parameter)는 무작위 초기화(initialization) 상태로 남아 점진적으로 글로벌 모델을 손상시킵니다. 단순한 커버리지 보장은 이러한 실패를 제거하며 균일 할당이 붕괴하는 이유를 설명합니다. 셋째, 동일 예산 대조군(matched-budget control)을 통해 적응성이 기여하는 바를 명확히 밝힙니다. 동일한 평균 예산에 대한 무작위 할당은 두 이미지 벤치마크에서 시드 간 변동 범위 내로 적응형 정책과 일치하며, 자연 분할된 텍스트 벤치마크에서는 적응형 정책이 가장 많은 용량을 소비하면서도 세 가지 전략 중 가장 낮은 성능을 보입니다. 서브 모델 학습은 이차적으로(quadratically) 감소된 비용으로 제약이 있는 클라이언트를 수용하지만 전체 모델 학습 대비 상당한 정확도 손실을 초래하며, 이러한 정확도를 보호하는 것은 정교한 할당 지능이 아닌 매개변수 커버리지입니다.