공유 상태 연합 계산을 위한 타입 텐서 언어
A Typed Tensor Language for Shared-State Federated Computation
공유 상태 연합 계산(Shared-state federated computations)은 클라이언트 로컬 텐서(tensor) 계산, 공유 상태로의 병합 가능한 집계, 공유 전용 후처리를 결합합니다. 본 논문에서는 이러한 계산 클래스를 위한 타입 텐서 언어를 소개합니다. 이 언어의 두 가지 텐서 종류는 클라이언트에 분할된 데이터와 전역적으로 사용 가능한 값을 분리하며, 타입 시스템은 분할된 축을 추적합니다. 가상 전역 텐서는 중앙화된 평가를 위한 의미론적 기준 역할을 합니다. 저자들은 타입이 지정된 1회 라운드 프로그램이 프로그램에 따라 형태가 결정되지만 클라이언트 및 샘플 수와는 무관한 공유 텐서를 통해 분해됨을 보여줍니다. 타입으로 실현 가능한 분해에 대해서는 그 역도 성립합니다. 즉, 각 인코더 구성 요소는 유효한 병합을 갖춘 허용된 집계 또는 축소(contraction)로 표현되며, 디코더는 공유 전용입니다. 이러한 구조는 영속 상태가 공유되는 프로그램에 대해 라운드별로 확장됩니다. 클라이언트 로컬 샘플별 그래디언트(gradient) 식이 제공되는 손실(loss)의 경우, 합산은 경험적 그래디언트를 나타냅니다. 이를 통해 서버 측 1차 업데이트 및 공유 선형 대수를 활용한 곡률 블록 업데이트를 위한 타입 프로그램을 제공합니다. 본 언어는 연합 분석 및 FedSGD를 포괄합니다. 일반적인 다중 로컬 단계 FedAvg 및 영속적인 비공개 클라이언트 상태는 본 연구의 범위에 포함되지 않습니다.