PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.35883v2cs.CR

CipherGenome: 유전체 전문가 혼합 모델을 위한 동형 추론

CipherGenome: Homomorphic Inference for Genomic Mixture-of-Experts

유전체 파운데이션 모델은 서열을 보유한 기기에 전문가 가중치가 더 이상 들어가지 않을 정도로 희소 전문가 혼합(MoE) 네트워크로 성장하고 있으나, 대여한 가속기에 비공개 유전체를 전송하는 것은 이를 노출시킵니다. 본 논문에서는 하나의 전문가를 호스팅하는 단일 서버만으로도 입력 뉴클레오타이드를 99.8%의 top-1 정확도로 복원할 수 있음을 보여줍니다. 저자들은 신뢰할 수 있는 씬 클라이언트에 15.1B 매개변수 MoE 유전체 모델의 임베딩, 어텐션, 라우터를 유지하고, 매개변수의 95.8%에 달하는 모든 전문가 프로젝션을 Module-LWE 암호화 하에서 신뢰할 수 없고 공모 가능성이 있는 GPU 서버로 외주화하는 프로토콜인 CipherGenome을 제안합니다. 이 설계는 세 가지 구조적 사실을 활용합니다. 즉, 전문가 층은 두 개의 SwiGLU 게이트 사이에서 선형적이고, 전문가 가중치는 공개되어 있으며, GPU 정수 텐서 코어는 단일 GEMM에서 모듈로 $2^{48}$에 대해 암호문-가중치 곱을 정확하게 평가할 수 있다는 점입니다. 클라이언트가 비선형성을 정확하게 평가하고 새로운 비밀값으로 재암호화하므로, 다항식 근사나 부트스트래핑이 전혀 필요하지 않습니다. 12개 박테리아 유전체의 72개 윈도우에서 암호화는 토큰당 $2.54 \times 10^{-4}$ nats의 KL 발산(95% CI 상한 $3.95 \times 10^{-4}$)만을 추가하여 사전 등록된 비열등성 마진 미만이자 bf16 추론과 구별할 수 없는 수준을 보였으며, 동일한 역전 공격은 무작위 추측 수준으로 떨어집니다. 재사용 가능한 공개 힌트는 종단 간 지연 시간을 3.54배 단축하고, 유선 압축은 트래픽을 6.8배 줄이며, 층별 패딩은 라우팅 유출 정확도를 54.9%에서 8.9%로 낮추고, HE 호환 int4 전문가는 평문 전문가와 동등한 비열등성을 유지합니다. 전문가 및 토큰당 서버 측 비용은 CKKS 기준선보다 6 자릿수 이상 낮습니다.