Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach
원문 초록
With the rising demand for wireless services and increased awareness of the need for data protection, existing network traffic analysis and management architectures are facing unprecedented challenges in classifying and synthesizing the increasingly diverse services and applications. This paper proposes FS-GAN, a federated self-supervised learning framework to support automatic traffic analysis and synthesis over a large number of heterogeneous datasets. FS-GAN is composed of multiple distributed Generative Adversarial Networks (GANs), with a set of generators, each being designed to generate synthesized data samples following the distribution of an individual service traffic, and each discriminator being trained to differentiate the synthesized data samples and the real data samples of a local dataset. A federated learning-based framework is adopted to coordinate local model training processes of different GANs across different datasets. FS-GAN can classify data of unknown types of service and create synthetic samples that capture the traffic distribution of the unknown types. We prove that FS-GAN can minimize the Jensen-Shannon Divergence (JSD) between the distribution of real data across all the datasets and that of the synthesized data samples. FS-GAN also maximizes the JSD among the distributions of data samples created by different generators, resulting in each generator producing synthetic data samples that follow the same distribution as one particular service type. Extensive simulation results show that the classification accuracy of FS-GAN achieves over 20% improvement in average compared to the state-of-the-art clustering-based traffic analysis algorithms. FS-GAN also has the capability to synthesize highly complex mixtures of traffic types without requiring any human-labeled data samples.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A generalizable structural brain MRI foundation model via dual-priority federated pretraining
Fed-ReMasker: 특징 수준 결측 하의 연합 표 형식 대치
Fed-ReMasker: Federated Tabular Imputation under Feature-Level Missingness
다기관 임상 연구와 생의학 연구 협력은 점점 더 여러 기관에 걸친 데이터를 활용해 단일 기관을 넘어 일반화되는 모델을 구축하려 한다. 이는 두 가지 뚜렷한 과제를 만든다. 데이터 보호 규제는 기관 간 원시 환자 데이터 공유를 제한할 수 있고, 기관마다 서로 다른 프로토콜 아래 부분적으로만 겹치는 특징 집합만 수집할 수 있다. 연합 학습(federated learning)은 원시 데이터를 중앙에 모으지 않고 협력적으로 모델 학습을 가능하게 한다. 그러나 기존 연합 대치(imputation) 방법은 일부 기관에서 전체 특징이 관측되지 않는 특징 수준 결측(feature-level missingness)을 거의 평가하지 않는다. 이 설정을 다루기 위해, 우리는 ReMasker 마스크드 오토인코더를 연합 학습에 맞게 확장한 Fed-ReMasker를 제안하여, 협력 기관들에서 학습한 지식을 활용해 로컬에서 한 번도 관측되지 않은 특징을 기관이 대치할 수 있게 한다. Fed-ReMasker는 선형·비선형 관계를 갖는 합성 데이터셋과 임상 데이터를 포함한 실제 표 형식 데이터셋에 걸친 벤치마크에서 평가한다. 이 벤치마크는 기관 수, 결측 비율, 클라이언트 이질성(heterogeneity)을 변화시킨다. Fed-ReMasker는 동질(homogeneous) 벤치마크에서 값 수준(value-level) 시나리오의 93.2%, 특징 수준 시나리오의 96.7%에서 최저 대치 오차를 달성한다. 단순 연합 평균(federated averaging)만으로도 클라이언트 이질성에 견고하며, 값 수준 36개 시나리오 전부에서 모든 기준선을 능가하고, 특징 수준 36개 시나리오 각각에서 최소 35개에서 각 기준선을 능가하며, 풀링(pooled) 데이터로 학습한 중앙집중식 모델 대비 평균 3.0% 이내에 머문다.
AI 네이티브 6G를 위한 JEPA: 예측적 표현과 미해결 과제
JEPA for AI-Native 6G: Predictive Representations and Open Challenges
6세대(6G) 네트워크는 학습 모듈이 무선 접속 네트워크(RAN), 에지, 코어 전반에 임베딩되는 AI 네이티브 운용 방식으로 이행하고 있다. 이러한 전환은 제한된 레이블, 이종(heterogeneous) 무선 및 네트워크 데이터, 부분 관측, 비정상(non-stationary) 전파, 지연 제약 제어 루프로부터의 학습을 필요로 한다. 결합 임베딩 예측 아키텍처(JEPA)는 원시 측정값을 재구성하거나 대조적 부정 샘플을 사용하는 대신 잠재 공간에서 누락되거나 미래의 표현을 예측하기 때문에 이러한 환경에 적합한 유망한 자기지도(self-supervised) 패러다임이다. 본 논문은 6G 인텔리전스를 위한 JEPA의 무선 지향 튜토리얼을 제시한다. JEPA 학습 메커니즘을 정의하고, CSI(채널 상태 정보), 빔 측정값, KPI, 토폴로지 그래프, 센싱 관측값을 토큰화 및 마스킹하는 방법을 설명하며, 학습된 인코더를 RAN, O-RAN, 에지, 코어 기능을 위한 예측적 표현 층으로 위치시키고 태스크별 헤드 또는 컨트롤러가 최종 결정을 생성하도록 한다. 이어서, 자기지도 사전학습 중 무선 인식 목표—구체적으로 보조적 미래 빔 에너지 목표—가 지도 학습 소스 도메인 대비 분포 이동된 배포 환경에서 레이블 효율성과 견고성을 향상시킬 수 있음을 시사하는 예시적 빔 관리 사례 연구를 제시한다. 마지막으로, 다중 시간 스케일 예측, 행동 조건부 모델링, 분산 학습, 신뢰성, 효율적 배포, 벤치마킹, 표준화에 관한 미해결 과제를 제시한다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
공정한 자기지도 학습을 위한 편향 없는 Open World 정규화
Unbiased Open World Regularization for Fair Self-Supervised Learning
최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
뇌전도(EEG)는 진행 중인 신경 활동을 비침습적으로 측정하지만, 피험자, 장치, 전극 배치의 이질성 때문에 범용 EEG 모델을 구축하는 일은 여전히 어렵다. 기존 EEG 파운데이션 모델은 신경 성분과 비신경 성분을 모두 포함하는 관측 신호에 정의된 복원 기반 목적 함수에 주로 의존한다. 본 연구는 잠재 공간에서 예측하기 위해 결합 임베딩 예측 아키텍처(JEPA)를 채택한 EEG 파운데이션 모델인 구면 사전 분포 EEG 표현 아키텍처(Spherical Prior EEG Representation Architecture, SPERA)를 소개한다. SPERA는 다양한 두피 전극 기하 구조를 인코딩하기 위해 어텐션에 통합된 르장드르 다항식 공간 사전 분포를 도입한다. 모델을 EEG에 맞추는 두 가지 추가 구성요소로, 주기적인 전체 어텐션 블록과 교차 배치된 시간·공간 분해 어텐션, 그리고 잠재 유사도 구조를 스펙트럼 뷰와 정렬하는 관계형 스펙트럼 정규화기가 있다. 106개 데이터셋, 29,048명의 피험자로부터 얻은 약 80,000시간의 EEG로 사전 학습한 SPERA는 임상, 인지, BCI 응용에 걸친 9개 다운스트림 과제에서 가장 높은 평균 균형 정확도를 달성한다. 또한 SPERA는 선형 프로빙에서 강한 파라미터 효율성을, 다양한 녹화 조건에서 강건성을 보여, 다양한 EEG 분석을 위한 범용 백본으로서의 잠재력을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.