LESS-VFL: Communication-Efficient Feature Selection for Vertical Federated Learning
원문 초록
We propose LESS-VFL, a communication-efficient feature selection method for distributed systems with vertically partitioned data. We consider a system of a server and several parties with local datasets that share a sample ID space but have different feature sets. The parties wish to collaboratively train a model for a prediction task. As part of the training, the parties wish to remove unimportant features in the system to improve generalization, efficiency, and explainability. In LESS-VFL, after a short pre-training period, the server optimizes its part of the global model to determine the relevant outputs from party models. This information is shared with the parties to then allow local feature selection without communication. We analytically prove that LESS-VFL removes spurious features from model training. We provide extensive empirical evidence that LESS-VFL can achieve high accuracy and remove spurious features at a fraction of the communication cost of other feature selection approaches.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Efficient Vertical Federated Learning Method for Ridge Regression of Large-Scale Samples via Least-Squares Solution
Catastrophic Data Leakage in Vertical Federated Learning
MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.
IID를 넘어서: 표 형식 파운데이션 모델은 실제로 얼마나 일반적인가?
Beyond IID: How General Are Tabular Foundation Models, Really?
표 형식 데이터에 대한 예측 기계학습용 파운데이션 모델은 최근 학계와 산업계에서 큰 주목을 받고 있다. 여러 분야의 연구 커뮤니티가 다양한 데이터셋과 과제에서 표 형식 파운데이션 모델을 점점 더 많이 평가하고 있다. 그러나 벤치마크 소프트웨어와 평가 프로토콜이 파편화되어 있어, 이러한 과제별·분야별 평가는 모델 연구자가 거의 접근할 수 없다. 그 결과 모델 연구자는 표준 벤치마크에 의존하는데, 이는 대부분 표 형식 파운데이션 모델이 이미 뛰어난 과제를 대상으로 정의되어 있다. 가장 어려운 시나리오는 제외되어, IID 데이터에서의 미미한 개선에 집중하고 더 폭넓고 까다로운 과제를 소홀히 함으로써 이 분야의 의미 있는 진전을 제한한다. 이를 극복하기 위해 우리는 다양한 과제 유형(IID, 시간, 그룹), 표본 크기와 특징 차원 규모, 다양한 특징 유형(텍스트 포함, 높은 카디널리티 포함)을 폭넓은 분야에 걸쳐 지원하는 표 형식 데이터용 최초의 통합 총체적 벤치마크 BeyondArena를 소개한다. 표준 벤치마크를 넘어선 통합 벤치마킹을 가능하게 하기 위해, 예측 기계학습용 표 형식 데이터셋을 큐레이션하는 파이썬 프레임워크이자 메타데이터 스키마인 DataFoundry를 소개한다. 11개 모델과 142개의 선별된 데이터셋에 걸친 결과는, 현재의 오픈소스 표 형식 파운데이션 모델이 최대 10만 행의 데이터셋에서 경쟁력이 있거나 뛰어난 반면, 그룹형 또는 대규모 데이터에서는 전통적인 트리 기반 모델과 딥러닝 모델이 여전히 우세함을 보여준다. BeyondArena는 표 형식 데이터의 가장 까다로운 과제를 위한 모델 연구를 이끌어, 진정한 파운데이션 표 형식 모델로 나아가는 진전을 가능하게 한다.
A generalizable structural brain MRI foundation model via dual-priority federated pretraining
토론
이 논문과 연결된 포럼 글이 아직 없습니다.