arXiv:2206.02131v2 cs.LG

트랜스포머 기반 연합 적대적 학습

Federated Adversarial Training with Transformers

Ahmed Aldahdooh, Wassim Hamidouche, Olivier Déforges

제출 2022-06-05

한국어 초록

연합 학습(FL)은 프라이버시를 보존하면서 분산된 클라이언트의 데이터로 전역 모델을 학습할 수 있게 하기 위해 등장했다. 그러나 전역으로 학습된 모델은 특히 잘못된 분류를 유도하도록 정교하게 만들어진 샘플인 적대적 예시(AE)와 같은 회피 공격(evasion attack)에 취약하다. 적대적 학습(AT)은 회피 공격에 대해 가장 유망한 접근으로 알려져 있으며 합성곱 신경망(CNN)에 대해 널리 연구되어 왔다. 최근 비전 트랜스포머가 많은 컴퓨터 비전(CV) 과제에서 효과적임이 밝혀졌다. 저자들이 아는 한, 비전 트랜스포머에 대한 FL 과정에서 AT의 실현 가능성을 연구한 선행 연구는 없다. 본 논문은 서로 다른 연합 모델 집계 방법과, 서로 다른 토큰화 및 분류 헤드 기법을 적용한 여러 비전 트랜스포머 모델을 사용하여 그 실현 가능성을 조사한다. 독립·동일분포가 아닌(Non-IID) 환경에서 모델의 견고 정확도(robust accuracy)를 높이기 위해 FedAvg 집계 방법의 확장인 FedWAvg를 제안한다. FedWAvg는 전역 모델의 마지막 층과 클라이언트 업데이트의 마지막 층 사이의 유사도를 측정하여 지역 모델 업데이트를 집계할 가중치를 계산한다. 실험 결과 FedWAvg는 다른 최신(state-of-the-art) 집계 방법과 비교했을 때 견고 정확도를 개선함을 보여준다.

원문 초록

Federated learning (FL) has emerged to enable global model training over distributed clients' data while preserving its privacy. However, the global trained model is vulnerable to the evasion attacks especially, the adversarial examples (AEs), carefully crafted samples to yield false classification. Adversarial training (AT) is found to be the most promising approach against evasion attacks and it is widely studied for convolutional neural network (CNN). Recently, vision transformers have been found to be effective in many computer vision tasks. To the best of the authors' knowledge, there is no work that studied the feasibility of AT in a FL process for vision transformers. This paper investigates such feasibility with different federated model aggregation methods and different vision transformer models with different tokenization and classification head techniques. In order to improve the robust accuracy of the models with the not independent and identically distributed (Non-IID), we propose an extension to FedAvg aggregation method, called FedWAvg. By measuring the similarities between the last layer of the global model and the last layer of the client updates, FedWAvg calculates the weights to aggregate the local models updates. The experiments show that FedWAvg improves the robust accuracy when compared with other state-of-the-art aggregation methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2206.02131v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.