arXiv:2107.14586

An Efficient DP-SGD Mechanism for Large Scale NLP Models

Christophe Dupuy, Radhika Arava, Rahul Gupta, Anna Rumshisky

제출 2021-07-14

원문 초록

Recent advances in deep learning have drastically improved performance on many Natural Language Understanding (NLU) tasks. However, the data used to train NLU models may contain private information such as addresses or phone numbers, particularly when drawn from human subjects. It is desirable that underlying models do not expose private information contained in the training data. Differentially Private Stochastic Gradient Descent (DP-SGD) has been proposed as a mechanism to build privacy-preserving models. However, DP-SGD can be prohibitively slow to train. In this work, we propose a more efficient DP-SGD for training using a GPU infrastructure and apply it to fine-tuning models based on LSTM and transformer architectures. We report faster training times, alongside accuracy, theoretical privacy guarantees and success of Membership inference attacks for our models and observe that fine-tuning with proposed variant of DP-SGD can yield competitive models without significant degradation in training time and improvement in privacy protection. We also make observations such as looser theoretical $\epsilon, \delta$ can translate into significant practical privacy gains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.15039v3cs.CR공통 태그 GPU, Privacy Preserving

SpliTEE: GPU 보조 신뢰 실행 환경과 차분 프라이버시의 결합을 통한 빠르고 프라이빗한 LLM 추론

SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy

대규모 언어 모델(LLM)에 제공되는 사용자 프롬프트에는 개인정보가 포함될 수 있습니다. 이를 보호하는 한 가지 방법은 신뢰 실행 환경(TEE) 내에서 LLM을 실행하는 것입니다. 그러나 현재 TEE는 LLM 추론에 있어 GPU보다 현저히 느리기 때문에 추론 시간이 오래 걸립니다. 이를 우회하기 위해 Tramèr와 Boneh (2019)는 신경망 추론을 TEE와 신뢰할 수 없는 GPU 간에 분할하는 Slalom을 제안했습니다. 이들은 GPU로 아웃소싱되는 연산의 입력을 암호화합니다. 본 논문에서는 이러한 분할 추론 아키텍처를 LLM 추론으로 확장하고, 대신 차분 프라이버시(DP)를 사용하여 중간 입력을 보호합니다. 먼저 이러한 표현으로부터의 프롬프트 복원 공격에서 80%의 정확도를 보임으로써 중간 표현 마스킹이 필수적임을 입증합니다. 본 논문의 주요 기여는 LLM 추론의 핵심 함수들에 대한 전역 민감도 분석으로, 필요한 DP 노이즈의 크기를 제한하는 것입니다. 암호화와 달리 DP는 양자화를 피할 수 있어 LLM이 부동 소수점 영역에 유지되도록 합니다. 또한 프라이버시 매개변수 입실론(epsilon)의 함수로서 마스킹 및 후속 노이즈 상쇄로 인한 부동 소수점 오차의 상한을 도출하여 동일한 LLM 응답 품질을 유지합니다. 인텔 TDX TEE와 두 가지 LLM(Llama-3.2-3B, Qwen3-4B)을 사용하여 아키텍처를 구현했습니다. 제안하는 분할 실행은 완전한 TDX 기반 추론보다 거의 2배 빠릅니다. 나아가 더 높은 정확도를 달성하면서도 Slalom보다 최대 43% 빠릅니다. 마지막으로 DP 메커니즘을 알고 있는 상태에서도 프롬프트 복원이 무관한 프롬프트에 포함된 것 이상의 정보를 복구할 수 없음을 입증합니다.

arXiv:2609.35882v2cs.CR공통 태그 GPU, Privacy Preserving

GenomeOcean Anywhere: 게놈 MoE 모델을 위한 비공개 WebGPU 추론

GenomeOcean Anywhere: Private WebGPU Inference for Genome MoEs

게놈 파운데이션 모델(foundation model)은 시퀀스(sequence)가 생성되는 곳에서 가장 유용하지만, 가장 큰 모델들은 데이터센터급 가속기와 민감한 DNA 정보를 전송할 장소를 필요로 한다. 본 연구는 150억 개 매개변수(parameter) 규모의 게놈 전문가 혼합(MoE) 모델이 전문가(expert)들을 여러 신뢰할 수 없는(untrusted) 기기들에 분산시킨 채, 예측 결과를 바꾸지 않고도, 그리고 어떤 단일 기기에도 시퀀스를 노출하지 않으면서 자원봉사자들의 웹 브라우저에서 대신 실행될 수 있는지를 묻는다. 우리는 신뢰할 수 있는 코디네이터(coordinator)가 어텐션(attention)과 라우팅(routing)을 수행하고, 브라우저 워커(worker)들이 손수 작성한 WebGPU 커널을 통해 모든 전문가의 순전파 신경망(feed-forward network)을 실행하는 시스템을 구축했으며, 실수값 라그랑주 코딩 계산(real-valued Lagrange coded computing)으로 전문가 입력을 보호한다: 각 워커는 가우시안 패딩(Gaussian-padded) 처리된 공유값(share)만을 받아 전문가의 선형 변환(linear map)을 계산하고, 코디네이터는 세 워커 중 임의의 두 워커로부터 결과를 복호화(decode)한다. GenomeOcean-MoE(전문가 8개, top-2 라우팅, 24개 레이어)에서, 브라우저 경로는 모든 양자화(quantization) 수준에서 네이티브(native) llama.cpp와 일치하며, 분산 경로는 BF16 수치 노이즈 바닥(numerical noise floor) 수준을 유지하고(토큰당 KL 0.0036 나트(nats)), 별도로 피팅하지 않은(unfitted) 지연시간 모델은 에뮬레이션된 광역망(wide-area link) 환경에서 디코드(decode) 시간을 0.74%(중앙값) 오차 내로 예측한다. 우리는 먼저 평문(plaintext) 상태의 전문가 입력이 프라이버시를 보장하지 못함을 보인다: 프로브(probe)는 모든 깊이(depth)에서 단일 벡터로부터 토큰을 복원하며, 한 워커는 순서 없는(unordered) 300개의 토큰으로부터 92%의 정확도로 원본 게놈을 식별할 수 있다. 코딩된(coded) 전문가를 사용하면, 공유값으로 학습된 적응형 공격자(adaptive attacker)의 성능은 최다 빈도 토큰 기준선(most-frequent-token baseline) 수준으로 떨어지고, 각 토큰에 대해 한 워커가 얻는 정보는 순전파(forward pass)당 1비트 미만으로 제한되며, 정확도(fidelity) 손실은 BF16 노이즈 바닥 이하로 유지된다. Chrome에서 코딩된 디코딩은 라우팅 정보가 얼마나 은닉되는지에 따라 토큰당 220~376ms로 실행되며, 워커 하나가 실패해도 복제본(replica) 없이 계속 동작한다.

arXiv:2609.35883v2cs.CR공통 태그 GPU, Privacy Preserving

CipherGenome: 유전체 전문가 혼합 모델을 위한 동형 추론

CipherGenome: Homomorphic Inference for Genomic Mixture-of-Experts

유전체 파운데이션 모델은 서열을 보유한 기기에 전문가 가중치가 더 이상 들어가지 않을 정도로 희소 전문가 혼합(MoE) 네트워크로 성장하고 있으나, 대여한 가속기에 비공개 유전체를 전송하는 것은 이를 노출시킵니다. 본 논문에서는 하나의 전문가를 호스팅하는 단일 서버만으로도 입력 뉴클레오타이드를 99.8%의 top-1 정확도로 복원할 수 있음을 보여줍니다. 저자들은 신뢰할 수 있는 씬 클라이언트에 15.1B 매개변수 MoE 유전체 모델의 임베딩, 어텐션, 라우터를 유지하고, 매개변수의 95.8%에 달하는 모든 전문가 프로젝션을 Module-LWE 암호화 하에서 신뢰할 수 없고 공모 가능성이 있는 GPU 서버로 외주화하는 프로토콜인 CipherGenome을 제안합니다. 이 설계는 세 가지 구조적 사실을 활용합니다. 즉, 전문가 층은 두 개의 SwiGLU 게이트 사이에서 선형적이고, 전문가 가중치는 공개되어 있으며, GPU 정수 텐서 코어는 단일 GEMM에서 모듈로 $2^{48}$에 대해 암호문-가중치 곱을 정확하게 평가할 수 있다는 점입니다. 클라이언트가 비선형성을 정확하게 평가하고 새로운 비밀값으로 재암호화하므로, 다항식 근사나 부트스트래핑이 전혀 필요하지 않습니다. 12개 박테리아 유전체의 72개 윈도우에서 암호화는 토큰당 $2.54 \times 10^{-4}$ nats의 KL 발산(95% CI 상한 $3.95 \times 10^{-4}$)만을 추가하여 사전 등록된 비열등성 마진 미만이자 bf16 추론과 구별할 수 없는 수준을 보였으며, 동일한 역전 공격은 무작위 추측 수준으로 떨어집니다. 재사용 가능한 공개 힌트는 종단 간 지연 시간을 3.54배 단축하고, 유선 압축은 트래픽을 6.8배 줄이며, 층별 패딩은 라우팅 유출 정확도를 54.9%에서 8.9%로 낮추고, HE 호환 int4 전문가는 평문 전문가와 동등한 비열등성을 유지합니다. 전문가 및 토큰당 서버 측 비용은 CKKS 기준선보다 6 자릿수 이상 낮습니다.

arXiv:2607.19353v1cs.AI공통 태그 GPU, Privacy Preserving

Intel TDX 환경에서 NVIDIA H100 기밀 GPU 추론 벤치마킹

Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX

기밀 컴퓨팅(confidential computing)은 민감한 입력을 처리하거나 독점 모델 자산을 보호해야 하는 AI 추론 워크로드에 있어 실질적인 배포 요구사항이 되고 있다. 그러나 GPU 가속 대규모 언어 모델(LLM) 서빙을 위해 기밀 실행(confidential execution)을 활성화할 때 발생하는 성능 비용은 여전히 워크로드에 따라 달라지며 운영상 중요한 요소이다. 본 논문은 Intel TDX 기밀 인스턴스에서 호스팅된 단일 NVIDIA H100 80GB GPU 상에서 표준 비기밀(non-confidential) 실행과 기밀 컴퓨팅 모드를 비교하는 벤치마크 연구를 제시한다. 평가는 Mistral-7B v0.1과 Qwen3-30B-A3B라는 두 대표적인 언어 모델을 사용하며, 동시성(concurrency) 증가 하에서 첫 토큰까지의 시간(TTFT, time to first token), 종단 간(end-to-end) 요청 지연(latency), 요청당 토큰 생성 처리량(throughput), 전역 토큰 처리량, 폐루프(closed-loop) 요청 처리량을 측정한다. 고정 요청률(fixed request-rate) 실험에서 기밀 모드는 Mistral-7B의 평균 TTFT를 21.8%, Qwen3-30B-A3B의 평균 TTFT를 27.8% 증가시키는 반면, 전역 토큰 처리량은 각각 17.7%와 21.1% 감소한다. 폐루프 동시성 실험에서 처리량 격차는 11.5-20.2% 범위에 머물지만, 더 큰 모델은 기밀 모드에서 포화(saturation) 임계점(knee)에 더 일찍 도달한다. 결과는 기밀 GPU 추론이 부하 하에서도 사용 가능한 처리량을 유지할 수 있음을 시사하지만, 용량 계획(capacity planning) 시 안정적인 처리량 페널티와 더 큰 모델에서 관찰되는 조기 포화 동작을 모두 고려해야 함을 나타낸다.

arXiv:2607.09767v2eess.SP공통 태그 Privacy Preserving

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.