Cocoon: 상관 노이즈를 활용한 차분 프라이버시 기반 학습을 위한 시스템 아키텍처
Cocoon: A System Architecture for Differentially Private Training with Correlated Noises
머신러닝(ML) 모델은 학습(training) 데이터를 기억하고 유출하여 데이터 소유자에게 심각한 개인정보 침해 문제를 야기합니다. 이에 대한 해결책으로 차분 프라이버시(differential privacy, DP)를 적용한 학습 알고리즘이 주목받고 있습니다. 그러나 이러한 알고리즘은 매 학습 반복(iteration)마다 노이즈를 추가하여 정확도를 저하시키므로 실제 환경에서의 도입을 제한합니다. 정확도를 개선하기 위해, 반복 간에 노이즈가 서로 상쇄되도록 정교하게 설계된 상관 노이즈(correlated noises)를 추가하는 새로운 접근 방식군이 등장했습니다. 본 연구에서는 이러한 새로운 메커니즘에 대한 광범위한 특성 분석 연구를 수행하였으며, 모델이 비교적 크거나 하드웨어 용량 대비 대규모 임베딩(embedding) 테이블을 사용할 때 상당한 오버헤드가 발생함을 확인했습니다. 이러한 분석을 바탕으로, 상관 노이즈를 활용한 효율적인 학습을 위한 프레임워크인 Cocoon을 제안합니다. Cocoon은 CPU, GPU 및 메모리 확장 모듈 전반에 걸쳐 방대한 노이즈 히스토리를 저장하고 처리하며, 희소(sparse) 임베딩 테이블을 위한 최적화를 도입하고 상용화를 앞둔 근접 메모리 연산(near-memory processing, NMP) 장치를 활용합니다. FPGA 기반 NMP 장치 프로토타입을 탑재한 실제 시스템에서 Cocoon은 성능을 1.23~10.82배 향상시킵니다.