A Survey on Vertical Federated Learning: From a Layered Perspective
원문 초록
Vertical federated learning (VFL) is a promising category of federated learning for the scenario where data is vertically partitioned and distributed among parties. VFL enriches the description of samples using features from different parties to improve model capacity. Compared with horizontal federated learning, in most cases, VFL is applied in the commercial cooperation scenario of companies. Therefore, VFL contains tremendous business values. In the past few years, VFL has attracted more and more attention in both academia and industry. In this paper, we systematically investigate the current work of VFL from a layered perspective. From the hardware layer to the vertical federated system layer, researchers contribute to various aspects of VFL. Moreover, the application of VFL has covered a wide range of areas, e.g., finance, healthcare, etc. At each layer, we categorize the existing work and explore the challenges for the convenience of further research and development of VFL. Especially, we design a novel MOSP tree taxonomy to analyze the core component of VFL, i.e., secure vertical federated machine learning algorithm. Our taxonomy considers four dimensions, i.e., machine learning model (M), protection object (O), security model (S), and privacy-preserving protocol (P), and provides a comprehensive investigation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연합 에이전트 최적화
Federated Agent Optimization
대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.
연합 학습에서 개발자 고충점 이해: Stack Overflow와 GitHub로부터의 통찰
Understanding Developer Pain Points in Federated Learning: Insights from Stack Overflow and GitHub
연합 학습(Federated Learning, FL)은 원시 데이터를 중앙 집중화하지 않고 협업적으로 모델을 학습할 수 있게 하지만, 분산 실행, 빠르게 진화하는 프레임워크, 프라이버시 및 거버넌스 요구사항으로 인해 FL 시스템을 구축하고 운영하는 것은 여전히 어렵다. 본 논문에서는 92개의 FL 관련 프로젝트에서 495개의 Stack Overflow 게시물과 9,116개의 GitHub 이슈 및 pull request를 독립적으로 분석하여 FL 개발자가 겪는 어려움에 대한 실증 연구를 제시한다. BERTopic 기반 토픽 모델링과 미해결 비율 및 중앙값 해결 시간과 같은 난이도 지표를 사용하여 반복적으로 나타나는 문제 영역을 특성화하고, Stack Overflow와 GitHub라는 두 지원 플랫폼에서 이들이 어떻게 나타나는지 비교한다. 우리 분석은 Stack Overflow에서 9개, GitHub에서 13개의 주요 토픽을 드러내며, 지속적인 어려움은 환경 설정 및 의존성 호환성, API 파손 및 마이그레이션, non-IID 데이터에서의 학습 불안정성, 평가 및 지표 정확성, 프라이버시 보존 메커니즘의 통합에 집중되어 있다. 또한 게시물을 질문 의도별로 분류하여 개발자들이 어떤 종류의 도움을 구하는지 파악한다. 이 의도 분석은 "How" 유형 질문이 지배적임을 보여주며, 이는 절차적 안내에 대한 강한 수요를 반영한다. "TFF Installation and Environment Compatibility" 및 "Federated Feature Engineering and SecureBoost Issues"와 같은 여러 토픽은 높은 미해결 비율과 긴 해결 시간을 보여, 도구, 문서, 디버깅 지원의 부족을 시사한다. 이러한 발견을 바탕으로 FL 프레임워크 설계자, 문서 작성자, 교육자를 위한 실행 가능한 시사점을 제공한다. 결과가 공개 토론과 널리 논의되는 프레임워크의 부분집합으로 제한되지만, 본 연구는 개발자 고충점을 지속적으로 모니터링하고 FL 시스템의 사용성, 신뢰성, 배포 가능성을 개선하는 확장 가능한 방법을 제공한다.
연합 설명 가능 인공지능: 역할, 아키텍처, 평가 및 미해결 과제
Federated Explainable Artificial Intelligence: Roles, Architectures, Evaluation, and Open Challenges
연합 학습(Federated Learning, FL)은 분산되고 이질적인 데이터 소스에 걸친 프라이버시 보존 협업 모델 학습을 위한 핵심 패러다임으로 부상했다. 원시 데이터를 로컬에 유지함으로써 FL은 데이터 기밀성 우려를 해소하지만, 현대 머신러닝 모델의 불투명성 문제는 해결하지 못한다. 한편 설명 가능한 인공지능(Explainable Artificial Intelligence, XAI)은 특히 고위험 도메인에서 투명성, 신뢰, 책무성(accountability) 향상을 위해 주목받고 있다. 두 분야의 교차점에서 연합 설명 가능 인공지능(Federated Explainable Artificial Intelligence, FedXAI) 패러다임이 등장했으며, 이는 프라이버시와 설명 가능성 요구를 동시에 충족하는 것을 목표로 한다. 본 서베이는 FedXAI에 대한 체계적 검토를 제공하며, 설명 가능성이 사후(post-hoc) 도구에서 FL 생명주기의 필수 구성 요소로 전환되는 과정을 강조한다. 우리는 설명 가능성이 집계(aggregation), 개인화(personalization), 견고성(robustness), 조율(coordination), 시스템 수준 의사결정을 어떻게 지원하는지 보여준다. 문헌을 체계화하기 위해, 설명 가능성의 역할, 모델 및 explainer 유형, 설명 범위, 통합 수준, FL 설정, 데이터 이질성(heterogeneity)에 따라 FedXAI 방법을 분류하는 분류 체계(taxonomy)를 제시한다. 우리는 모델 불가지론적(model-agnostic) 설명부터 해석 가능한(interpretable) 연합 모델 및 설명 가능성 인식(explainability-aware) 집계 메커니즘에 이르는 접근법들을 검토한다. 또한 평가(evaluation) 관행을 검토하고, 설명 품질, 안정성(stability), 프라이버시 누출(privacy leakage), 계산 오버헤드(computational overhead)를 측정하기 위한 표준화된 벤치마크(benchmark)와 메트릭(metrics)의 부재를 논의한다. 마지막으로 non-IID 데이터에서의 설명 가능성, 설명 중심(explanation-centric) 보안 위협, 통신 효율적인(communication-efficient) XAI, 지속적(continual) FedXAI, 도메인 지식 및 규제 제약(regulatory constraints)의 통합을 포함한 주요 과제들을 제시한다. 기존 연구를 통합하고 핵심 공백을 식별함으로써, 본 서베이는 신뢰할 수 있고 투명하며 프라이버시를 보존하는 연합 AI 시스템 설계를 위한 참조 프레임워크 역할을 한다.
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.
프라이버시 보존 협력 학습을 위한 노이즈 앵커 정렬 기반 기하학적 데이터 섭동
Geometric Data Perturbation with Noisy-Anchor Alignment for Privacy-Preserving Collaborative Learning
기하학적 데이터 섭동(Geometric data perturbation)은 프라이버시 보존 협력 학습(collaborative learning)을 위한 원샷 표현(representation) 공유를 가능하게 합니다. 즉, 각 참여자는 자신의 비공개 데이터에 거리를 보존하는 비밀 변환을 적용한 뒤 결과 표현을 중앙 분석가에게 업로드합니다. 본 논문에서는 공모한 참여자가 분석가가 다른 참여자의 데이터를 재구성할 수 있도록 자신의 데이터와 변환을 공개하는 분석가-참여자 공모(collusion)를 연구합니다. 참여자별 독립적인 변환은 공개된 공통 변환을 통한 직접적인 역변환을 차단하지만, 업로드된 데이터를 호환되지 않는 좌표계에 남겨두어 통합 학습의 성능을 저하시킵니다. 데이터 협력(Data Collaboration) 분석은 분석가에게 숨겨둔 공통 앵커 행렬(anchor matrix)의 변환된 복사본들을 정렬하여 호환성을 복원합니다. 본 연구는 중심화된(centered) 앵커 행렬이 풀 칼럼 랭크(full column rank)를 가질 때, 이를 공개하는 공모자가 모든 참여자의 변환을 정확히 복구하고 노이즈 없는 비공개 표현의 역변환을 가능하게 함을 보여줍니다. 비공개 데이터 표현에 노이즈를 추가하는 것은 이러한 변환 복구 채널을 그대로 유지하며 상당한 효용(utility) 저하를 대가로 정보 유출을 줄입니다. 대신, 본 연구는 앵커 표현을 섭동시킵니다. 즉, 각 참여자는 변환된 앵커 표현만을 섭동시켜 비공개 데이터 업로드의 기하학적 구조를 보존하는 동시에, 알려진 앵커 기반 변환 복구를 노이즈 추정 문제로 전환합니다. 분석가는 일반화된 직교 프로크루스테스 문제(generalized orthogonal Procrustes problem)에 대한 스펙트럼 추정기(spectral estimator)를 사용하여 정렬을 추정합니다. 본 프로토콜에 대한 복구 공격을 분석하고 CelebA 및 VGGFace2 얼굴 이미지 데이터셋에서 두 노이즈 배치 방식을 비교합니다. 평가된 공모 공격 하에서, 노이즈 앵커 정렬(noisy-anchor alignment)은 낮은 신원 연결(identity-linkage) 수준에서도 더 높은 다운스트림 정확도를 유지합니다. 또한 참여자 수 실험을 통해 유사하게 측정된 연결 수준에서 더 큰 규모의 협력에 따른 효용 향상과 한계를 조사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.