PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.15039v3cs.CR

SpliTEE: GPU 보조 신뢰 실행 환경과 차분 프라이버시의 결합을 통한 빠르고 프라이빗한 LLM 추론

SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy

대규모 언어 모델(LLM)에 제공되는 사용자 프롬프트에는 개인정보가 포함될 수 있습니다. 이를 보호하는 한 가지 방법은 신뢰 실행 환경(TEE) 내에서 LLM을 실행하는 것입니다. 그러나 현재 TEE는 LLM 추론에 있어 GPU보다 현저히 느리기 때문에 추론 시간이 오래 걸립니다. 이를 우회하기 위해 Tramèr와 Boneh (2019)는 신경망 추론을 TEE와 신뢰할 수 없는 GPU 간에 분할하는 Slalom을 제안했습니다. 이들은 GPU로 아웃소싱되는 연산의 입력을 암호화합니다. 본 논문에서는 이러한 분할 추론 아키텍처를 LLM 추론으로 확장하고, 대신 차분 프라이버시(DP)를 사용하여 중간 입력을 보호합니다. 먼저 이러한 표현으로부터의 프롬프트 복원 공격에서 80%의 정확도를 보임으로써 중간 표현 마스킹이 필수적임을 입증합니다. 본 논문의 주요 기여는 LLM 추론의 핵심 함수들에 대한 전역 민감도 분석으로, 필요한 DP 노이즈의 크기를 제한하는 것입니다. 암호화와 달리 DP는 양자화를 피할 수 있어 LLM이 부동 소수점 영역에 유지되도록 합니다. 또한 프라이버시 매개변수 입실론(epsilon)의 함수로서 마스킹 및 후속 노이즈 상쇄로 인한 부동 소수점 오차의 상한을 도출하여 동일한 LLM 응답 품질을 유지합니다. 인텔 TDX TEE와 두 가지 LLM(Llama-3.2-3B, Qwen3-4B)을 사용하여 아키텍처를 구현했습니다. 제안하는 분할 실행은 완전한 TDX 기반 추론보다 거의 2배 빠릅니다. 나아가 더 높은 정확도를 달성하면서도 Slalom보다 최대 43% 빠릅니다. 마지막으로 DP 메커니즘을 알고 있는 상태에서도 프롬프트 복원이 무관한 프롬프트에 포함된 것 이상의 정보를 복구할 수 없음을 입증합니다.

arXiv:2607.13093v2cs.CR

효율적이고 프라이버시를 고려한 엣지-클라우드 협업 대규모 언어 모델 추론

Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models

온디바이스 대규모 언어 모델(LLM) 추론은 응답 지연시간, 제한된 하드웨어 자원, 사용자 프라이버시라는 삼중 딜레마에 직면한다. 전체 클라우드 추론은 강력한 컴퓨팅 능력을 제공하지만 사용자 프롬프트와 대화 데이터를 노출시키며, 독립적인 온디바이스 추론은 대부분의 소비자용 및 임베디드 엣지 디바이스에서는 실현 불가능하다. 본 논문은 엔드포인트 인증 KV 캐시를 기반으로 한 프라이버시 중심의 엣지-클라우드 협업 LLM 추론 프레임워크를 제안한다. 로컬 엔드포인트는 입력 전처리, 임베딩 계산, 적응형 특징 최적화, KV 캐시 인증, 투기적 디코딩(speculative decoding), 저차원 모델 헤드 계산을 담당하고, 클라우드는 인증된 디코더 추론, KV 캐시 관리, 토큰 검증, 고차원 어휘 투영을 수행한다. 엔드포인트는 부분 출력을 융합하고, 언어 적응형 마스킹을 적용하며, 목표 토큰을 샘플링한다. 모든 전송 데이터와 잘린 로짓(truncated logits)은 프라이버시를 위해 양자화되고 AES-GCM으로 암호화되며, 핵심 경량 모듈, 드래프트 파라미터, 캐시 접근 정책은 유출을 방지하기 위해 로컬에 유지된다. 이 프레임워크는 최적화된 스트리밍, 배칭, 양자화된 ONNX 배포를 통해 CPU 전용, GPU 탑재, 임베디드 디바이스를 포함한 이종 디바이스를 지원한다. 평가 결과, 이 프레임워크는 기준선 분할 추론 대비 토큰당 지연시간을 최대 46.1%, 하향링크 페이로드를 최대 67.4% 줄이면서 전체 클라우드 추론과 유사한 성능을 유지함을 보여준다.