CrypTorch: 프라이빗 머신러닝 추론을 위한 통합 PyTorch 기반 자동 튜닝 컴파일러
CrypTorch: Unified PyTorch-based Auto-tuning Compiler for Private Machine Learning Inference
MPC 기반 ML은 안전한 다자간 연산(MPC)을 사용하여 어느 참여자도 자신의 비공개 데이터나 모델 매개변수를 공개하지 않고 여러 참여자에 걸쳐 머신러닝(ML) 워크로드를 실행한다. 본 특성 분석 연구에 따르면 최신 MPC 프레임워크의 성능은 흔히 연산자 근사 전략에 의해 좌우되며, 이는 MPC가 기본적으로 지원하지 않는 ML 연산자를 반복적 방법이나 다항식으로 대체하는 방식이다. 이러한 근사는 대개 각 프레임워크가 휴리스틱하게 선택하여 전역적으로 적용한다. 그 결과 어떤 경우에는 불필요하게 비용이 크고, 다른 경우에는 정확도가 불충분할 수 있다. 최적의 근사 선택은 문맥, 대상 프레임워크, 응용에 따라 달라지므로, 하나의 전역 고정 근사는 근본적으로 최적이 아님을 확인하였다. 이 문제를 해결하기 위해 여러 MPC 프레임워크를 백엔드로 지원하는 MPC 기반 ML용 다단계 컴파일러 CrypTorch를 설계하였다. CrypTorch의 핵심은 자동 튜닝 단계로, 대상 MPC 백엔드에서 비용 추정치를, 대리 PyTorch 실행에서 품질 추정치를 추출하고, 이를 이용해 주어진 품질 제약을 만족하면서 성능을 최대화하는 근사 집합을 자동으로 선택한다. CrypTorch의 자동 튜너는 정확도 저하 없이 여러 MPC 백엔드에서 성능을 1.14--1.60배 향상시키고, 정확도 저하가 3% 미만인 조건에서는 1.17--1.92배 향상시킴을 보였다. 또한 CrypTorch의 통합 설계는 여러 백엔드가 다른 공통 컴파일러 기능과 최적화를 공유하도록 하여 프로그래밍 용이성과 사용성도 개선한다. 나아가 이 자동 튜너가 관련된 완전 동형 암호(FHE) 백엔드로도 확장되어 부트스트래핑 연산 횟수를 1.31--1.65배 줄임을 보였다.