arXiv:2106.02310

FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning

Sung Kuk Shyn, DongHee Kim, Kwangsu Kim

제출 2021-06-04

원문 초록

Client contribution evaluation, also known as data valuation, is a crucial approach in federated learning(FL) for client selection and incentive allocation. However, due to restrictions of accessibility of raw data, only limited information such as local weights and local data size of each client is open for quantifying the client contribution. Using data size from available information, we introduce an empirical evaluation method called Federated Client Contribution Evaluation through Accuracy Approximation(FedCCEA). This method builds the Accuracy Approximation Model(AAM), which estimates a simulated test accuracy using inputs of sampled data size and extracts the clients' data quality and data size to measure client contribution. FedCCEA strengthens some advantages: (1) enablement of data size selection to the clients, (2) feasible evaluation time regardless of the number of clients, and (3) precise estimation in non-IID settings. We demonstrate the superiority of FedCCEA compared to previous methods through several experiments: client contribution distribution, client removal, and robustness test to partial participation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2507.13835v2stat.ML공통 태그 Federated Learning, Data Valuation

분포 내(in-distribution) 데이터 확보를 위한 컨포멀(conformal) 데이터 오염 검정

Conformal Data Contamination Tests for In-distribution Data Acquisition

많은 머신러닝(machine learning) 과제에서 양질의 데이터 양은 데이터 소유자가 로컬에서 보유한 것으로 제한된다. 양질의 데이터 집합은 외부 데이터 에이전트(agent)와의 거래나 공유를 통해 확장될 수 있다. 그러나 외부 데이터는 오염되어 있거나 바람직하지 않은 샘플 다양성을 유입시킬 수 있으며, 이는 희귀 질환 진단이나 추천 시스템과 같은 개인화된 머신러닝 과제의 성능을 저하시킬 수 있다. 따라서 데이터 구매자는 데이터 획득 이전에 품질 보증이 필요하다. 기존 연구들은 주로 서로 다른 에이전트의 데이터에 대한 분포 가정에 의존하여, 품질 검사를 비용이 많이 드는 데이터 가치 평가(valuation) 절차를 수반하는 사후(post-hoc) 단계로 미뤄왔다. 본 논문은 소량의 데이터만 검사함으로써 모델 개인화(personalization)에 가장 유용한 데이터를 보유한 외부 데이터 에이전트를 식별하는, 분포에 대한 가정이 없고(distribution-free) 오염을 인지하는 데이터 획득 프레임워크를 제안한다. 이를 위해, 전체 데이터 획득에 앞서 수행되는 새로운 이표본 검정(two-sample testing) 절차를 도입하며, 이는 컨포멀(conformal) 이상치 탐지(outlier detection)에 대한 엄밀한 이론적 토대에 기반하여 어떤 에이전트의 데이터가 오염 임계값을 초과하는지를 판단한다. 제안된 검정은 '컨포멀 데이터 오염 검정(conformal data contamination test)'이라 명명되며, 임의의 오염 수준(arbitrary contamination level)에서도 유효성을 유지하고, 새롭게 제시된 스토리(Storey) 유형 검정은 벤자민-호크버그(Benjamini-Hochberg) 절차를 통해 유한 표본(finite-sample)에서의 거짓 발견율(false discovery rate) 제어를 입증 가능하게 한다. 다양한 협력 학습(collaborative learning) 시나리오에 대한 실증적 평가는 본 접근법의 강건성과 효과성을 보여준다. 전반적으로, 컨포멀 데이터 오염 검정은 통계적으로 엄밀한 품질 보증과 함께 데이터를 집계하는 범용적인 절차로서 차별성을 가진다.

arXiv:2606.28217v1cs.LG공통 태그 Federated Learning, Data Valuation

완전 위임 AI 협동체에서 가치 제약 신용 배분을 향하여

Towards Value-Constrained Credit Assignment in Fully Delegated AI Cooperatives

인간이 데이터를 기여하고 이질적인 가치 제약 하에서 모델 업데이트에 참여하는 에이전트(agent)로 표현되는 완전 위임 AI 협동체에서 보상 할당을 위한 프레임워크를 제안한다. 핵심 아이디어는 각 principal(위탁자)의 가치 프로필에 대해 선별한 후에도 허용 가능한(admissible) 업데이트에만 기여도를 부여하는 것이다. 우리는 traversal learning(TL) 기질(substrate) 내에서 가치 조건 그래디언트 필터링, 온라인 한계 기여 신호, 누적 수익 정산을 공식화한다. TL은 집계 중심 분산 학습과 관련된 품질 손실 없이 분산 역전파를 수행하고, 명시적 순회(traversal) 및 그래디언트 경로를 보존함으로써 FedAvg 스타일 연합 학습(federated learning)보다 더 정교한 귀속(attribution) 기질을 제공한다고 주장하므로, 여기서 특히 매력적이다. 이 프레임워크는 데이터 가치 평가(data valuation), 연합 기여도 추정, 개인화 연합 학습, 다원적 정렬(pluralistic alignment)과 대비하여 위치시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.