연합학습(FL)은 분산된 데이터를 활용하여 모델의 협력적 학습(training)을 가능하게 하는 학습 패러다임입니다. 최근 연합학습에서 사전학습(pre-training)된 가중치(weight) 초기화(initialization)의 활용이 모델(model) 성능을 효과적으로 향상시키는 것으로 입증되었습니다. 그러나 파라미터의 상당한 증가로 특징지어지는 현재 사전학습 모델의 복잡성 증가는 연합학습 적응에 필요한 통신 라운드와 관련된 문제를 현저히 가중시킵니다. 이러한 통신 비용 문제를 해결하고 연합학습에서 사전학습 모델 적응의 성능을 높이기 위해, 본 논문에서는 '로컬 슈피리어 수프(Local Superior Soups)'라는 혁신적인 모델 보간 기반 로컬 학습 기법을 제안합니다. 제안하는 방법은 서로 다른 클라이언트 전반의 로컬 학습을 개선하며, 정규화된 모델 보간을 통해 적은 통신 라운드 내에서 연결된 낮은 손실(loss) 분지의 탐험(exploration)을 유도합니다. 이 접근 방식은 연합학습에서 사전학습 모델의 원활한 적응을 위한 촉매제 역할을 합니다. 널리 사용되는 다양한 연합학습 데이터셋 전반에서 본 방법의 효과성과 효율성을 입증하였습니다. 코드는 https://github.com/ubc-tea/Local-Superior-Soups 에서 확인할 수 있습니다.
생성형 인공지능 분야에서 확산 기반 모델은 합성 이미지를 생성하기 위한 유망한 방식으로 부상했습니다. 그러나 확산 모델의 적용은 특히 데이터 가용성, 연산 요구량, 프라이버시 측면에서 수많은 과제를 안겨줍니다. 연합 학습(federated learning)과 같이 이러한 한계를 해결하기 위한 기존 접근법은 종종 개별 클라이언트, 특히 자원이 제한된 클라이언트에 상당한 연산 부담을 지웁니다. 이러한 문제에 대응하여, 본 연구에서는 분할 학습(split learning)에서 영감을 얻은 분산 협업 확산 모델을 위한 새로운 접근법인 CollaFuse를 제안합니다. 우리의 접근법은 이미지 합성 중 클라이언트의 연산 부담을 덜어주면서 확산 모델의 협업 학습(training)을 촉진합니다. 이러한 연산 부담 경감은 데이터와 연산 비용이 적게 드는 처리를 각 클라이언트 로컬에 유지하고, 연산 집약적인 처리는 더 효율적인 공유 서버 자원에 위임함으로써 달성됩니다. 널리 사용되는 데이터셋인 CelebA, CIFAR-10, Animals-with-Attributes2에 대한 실험을 통해, 우리의 접근법은 원시 데이터를 공유할 필요성을 줄여 정보 유출을 방지하면서도 향상된 성능을 입증합니다. 이러한 능력은 엣지 컴퓨팅 솔루션 설계를 비롯한 다양한 응용 분야 전반에 걸쳐 상당한 잠재력을 지니며, 협업 확산 모델의 발전에 기여함으로써 분산 머신러닝 기술을 진전시킵니다.
공격자가 DNS over HTTPS(DoH) 터널링을 사용해 암호화된 DNS 트래픽 속에 악성 활동을 숨기면, 악성 행위자가 기존 모니터링 및 침입 탐지 시스템을 우회하고 일반적인 트래픽 분석 기법의 탐지를 피할 수 있으므로 네트워크 보안에 심각한 위협이 된다. DoH 터널을 탐지하는 데 ML 기법을 사용할 수 있지만, 그 효과는 정상 트래픽과 악성 트래픽을 모두 포함하는 대규모 데이터셋에 달려 있다. 이러한 데이터셋을 여러 기관 간에 공유하는 것은 개인정보 보호 우려로 인해 어렵다. 본 연구에서는 여러 기관이 데이터 프라이버시를 보존하면서 DoH 위협 탐지를 위한 분류 머신러닝 모델을 협력적으로 학습하고, 확장성을 높이며 단일 장애점에 대한 복원력을 강화할 수 있는 CO-DEFEND 프레임워크를 제안한다. 제안된 DFL(분산 연합 학습) 프레임워크는 DoH 위협 탐지를 위한 현실적인 구현을 제공하며, 여러 기관이 처리되는 수신 DoH 플로우를 실시간 배치로 온라인에서 로컬 모델을 학습할 수 있게 한다. 이는 현대 인터넷 아키텍처에 자연스럽게 부합하는 접근 방식이다. 이 프레임워크는 서포트 벡터 머신, 로지스틱 회귀, 의사결정나무, 랜덤 포레스트의 네 가지 고전적 머신러닝 알고리즘을 연합 시나리오와 효율적 학습에 맞게 조정한다. 또한 CO-DEFEND의 핵심 방법론적 특징은 DT와 RF를 집계 메커니즘이 아닌 모델 선택 수단으로 사용하는 것으로, 각 참여자가 해석 가능하고 로컬 최적의 의사결정 구조를 유지하면서 집합 통신 업데이트의 이점을 누릴 수 있게 한다. CIRA-CIC-DoHBrw-2020 데이터셋을 사용해 신경망과 같이 계산적으로 더 복잡한 대안을 포함한 기존 머신러닝 접근법과 제안 방법을 비교하여, 확장성과 계산 효율성을 개선하면서 악성 DoH 터널을 탐지하는 효과를 입증한다.
탈중앙화 연합학습(DFL)에서 중앙 서버 전제의 비잔틴-강건 집계 기법이 보안에 취약한 문제를 해결하기 위해, 다중 필터로 비잔틴 공격을 식별·완화하고 동적 탈중앙 토폴로지의 강건성을 높이는 WFAgg 집계 알고리즘을 제안한다. IID 이미지 분류 실험에서 다양한 비잔틴 공격 하에서도 모델 정확도와 수렴을 유지하며 Multi-Krum·Clustering 등 중앙화 기반 최신 기법을 능가했다.