arXiv:2006.09628

Visor: Privacy-Preserving Video Analytics as a Cloud Service

Rishabh Poddar, Ganesh Ananthanarayanan, Srinath Setty, Stavros Volos, Raluca Ada Popa

제출 2020-06-17

원문 초록

Video-analytics-as-a-service is becoming an important offering for cloud providers. A key concern in such services is privacy of the videos being analyzed. While trusted execution environments (TEEs) are promising options for preventing the direct leakage of private video content, they remain vulnerable to side-channel attacks. We present Visor, a system that provides confidentiality for the user's video stream as well as the ML models in the presence of a compromised cloud platform and untrusted co-tenants. Visor executes video pipelines in a hybrid TEE that spans both the CPU and GPU. It protects the pipeline against side-channel attacks induced by data-dependent access patterns of video modules, and also addresses leakage in the CPU-GPU communication channel. Visor is up to $1000\times$ faster than na\"ive oblivious solutions, and its overheads relative to a non-oblivious baseline are limited to $2\times$--$6\times$.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.15039v3cs.CR공통 태그 GPU, Privacy Preserving

SpliTEE: GPU 보조 신뢰 실행 환경과 차분 프라이버시의 결합을 통한 빠르고 프라이빗한 LLM 추론

SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy

대규모 언어 모델(LLM)에 제공되는 사용자 프롬프트에는 개인정보가 포함될 수 있습니다. 이를 보호하는 한 가지 방법은 신뢰 실행 환경(TEE) 내에서 LLM을 실행하는 것입니다. 그러나 현재 TEE는 LLM 추론에 있어 GPU보다 현저히 느리기 때문에 추론 시간이 오래 걸립니다. 이를 우회하기 위해 Tramèr와 Boneh (2019)는 신경망 추론을 TEE와 신뢰할 수 없는 GPU 간에 분할하는 Slalom을 제안했습니다. 이들은 GPU로 아웃소싱되는 연산의 입력을 암호화합니다. 본 논문에서는 이러한 분할 추론 아키텍처를 LLM 추론으로 확장하고, 대신 차분 프라이버시(DP)를 사용하여 중간 입력을 보호합니다. 먼저 이러한 표현으로부터의 프롬프트 복원 공격에서 80%의 정확도를 보임으로써 중간 표현 마스킹이 필수적임을 입증합니다. 본 논문의 주요 기여는 LLM 추론의 핵심 함수들에 대한 전역 민감도 분석으로, 필요한 DP 노이즈의 크기를 제한하는 것입니다. 암호화와 달리 DP는 양자화를 피할 수 있어 LLM이 부동 소수점 영역에 유지되도록 합니다. 또한 프라이버시 매개변수 입실론(epsilon)의 함수로서 마스킹 및 후속 노이즈 상쇄로 인한 부동 소수점 오차의 상한을 도출하여 동일한 LLM 응답 품질을 유지합니다. 인텔 TDX TEE와 두 가지 LLM(Llama-3.2-3B, Qwen3-4B)을 사용하여 아키텍처를 구현했습니다. 제안하는 분할 실행은 완전한 TDX 기반 추론보다 거의 2배 빠릅니다. 나아가 더 높은 정확도를 달성하면서도 Slalom보다 최대 43% 빠릅니다. 마지막으로 DP 메커니즘을 알고 있는 상태에서도 프롬프트 복원이 무관한 프롬프트에 포함된 것 이상의 정보를 복구할 수 없음을 입증합니다.

arXiv:2609.35882v2cs.CR공통 태그 GPU, Privacy Preserving

GenomeOcean Anywhere: 게놈 MoE 모델을 위한 비공개 WebGPU 추론

GenomeOcean Anywhere: Private WebGPU Inference for Genome MoEs

게놈 파운데이션 모델(foundation model)은 시퀀스(sequence)가 생성되는 곳에서 가장 유용하지만, 가장 큰 모델들은 데이터센터급 가속기와 민감한 DNA 정보를 전송할 장소를 필요로 한다. 본 연구는 150억 개 매개변수(parameter) 규모의 게놈 전문가 혼합(MoE) 모델이 전문가(expert)들을 여러 신뢰할 수 없는(untrusted) 기기들에 분산시킨 채, 예측 결과를 바꾸지 않고도, 그리고 어떤 단일 기기에도 시퀀스를 노출하지 않으면서 자원봉사자들의 웹 브라우저에서 대신 실행될 수 있는지를 묻는다. 우리는 신뢰할 수 있는 코디네이터(coordinator)가 어텐션(attention)과 라우팅(routing)을 수행하고, 브라우저 워커(worker)들이 손수 작성한 WebGPU 커널을 통해 모든 전문가의 순전파 신경망(feed-forward network)을 실행하는 시스템을 구축했으며, 실수값 라그랑주 코딩 계산(real-valued Lagrange coded computing)으로 전문가 입력을 보호한다: 각 워커는 가우시안 패딩(Gaussian-padded) 처리된 공유값(share)만을 받아 전문가의 선형 변환(linear map)을 계산하고, 코디네이터는 세 워커 중 임의의 두 워커로부터 결과를 복호화(decode)한다. GenomeOcean-MoE(전문가 8개, top-2 라우팅, 24개 레이어)에서, 브라우저 경로는 모든 양자화(quantization) 수준에서 네이티브(native) llama.cpp와 일치하며, 분산 경로는 BF16 수치 노이즈 바닥(numerical noise floor) 수준을 유지하고(토큰당 KL 0.0036 나트(nats)), 별도로 피팅하지 않은(unfitted) 지연시간 모델은 에뮬레이션된 광역망(wide-area link) 환경에서 디코드(decode) 시간을 0.74%(중앙값) 오차 내로 예측한다. 우리는 먼저 평문(plaintext) 상태의 전문가 입력이 프라이버시를 보장하지 못함을 보인다: 프로브(probe)는 모든 깊이(depth)에서 단일 벡터로부터 토큰을 복원하며, 한 워커는 순서 없는(unordered) 300개의 토큰으로부터 92%의 정확도로 원본 게놈을 식별할 수 있다. 코딩된(coded) 전문가를 사용하면, 공유값으로 학습된 적응형 공격자(adaptive attacker)의 성능은 최다 빈도 토큰 기준선(most-frequent-token baseline) 수준으로 떨어지고, 각 토큰에 대해 한 워커가 얻는 정보는 순전파(forward pass)당 1비트 미만으로 제한되며, 정확도(fidelity) 손실은 BF16 노이즈 바닥 이하로 유지된다. Chrome에서 코딩된 디코딩은 라우팅 정보가 얼마나 은닉되는지에 따라 토큰당 220~376ms로 실행되며, 워커 하나가 실패해도 복제본(replica) 없이 계속 동작한다.

arXiv:2609.35883v2cs.CR공통 태그 GPU, Privacy Preserving

CipherGenome: 유전체 전문가 혼합 모델을 위한 동형 추론

CipherGenome: Homomorphic Inference for Genomic Mixture-of-Experts

유전체 파운데이션 모델은 서열을 보유한 기기에 전문가 가중치가 더 이상 들어가지 않을 정도로 희소 전문가 혼합(MoE) 네트워크로 성장하고 있으나, 대여한 가속기에 비공개 유전체를 전송하는 것은 이를 노출시킵니다. 본 논문에서는 하나의 전문가를 호스팅하는 단일 서버만으로도 입력 뉴클레오타이드를 99.8%의 top-1 정확도로 복원할 수 있음을 보여줍니다. 저자들은 신뢰할 수 있는 씬 클라이언트에 15.1B 매개변수 MoE 유전체 모델의 임베딩, 어텐션, 라우터를 유지하고, 매개변수의 95.8%에 달하는 모든 전문가 프로젝션을 Module-LWE 암호화 하에서 신뢰할 수 없고 공모 가능성이 있는 GPU 서버로 외주화하는 프로토콜인 CipherGenome을 제안합니다. 이 설계는 세 가지 구조적 사실을 활용합니다. 즉, 전문가 층은 두 개의 SwiGLU 게이트 사이에서 선형적이고, 전문가 가중치는 공개되어 있으며, GPU 정수 텐서 코어는 단일 GEMM에서 모듈로 $2^{48}$에 대해 암호문-가중치 곱을 정확하게 평가할 수 있다는 점입니다. 클라이언트가 비선형성을 정확하게 평가하고 새로운 비밀값으로 재암호화하므로, 다항식 근사나 부트스트래핑이 전혀 필요하지 않습니다. 12개 박테리아 유전체의 72개 윈도우에서 암호화는 토큰당 $2.54 \times 10^{-4}$ nats의 KL 발산(95% CI 상한 $3.95 \times 10^{-4}$)만을 추가하여 사전 등록된 비열등성 마진 미만이자 bf16 추론과 구별할 수 없는 수준을 보였으며, 동일한 역전 공격은 무작위 추측 수준으로 떨어집니다. 재사용 가능한 공개 힌트는 종단 간 지연 시간을 3.54배 단축하고, 유선 압축은 트래픽을 6.8배 줄이며, 층별 패딩은 라우팅 유출 정확도를 54.9%에서 8.9%로 낮추고, HE 호환 int4 전문가는 평문 전문가와 동등한 비열등성을 유지합니다. 전문가 및 토큰당 서버 측 비용은 CKKS 기준선보다 6 자릿수 이상 낮습니다.

arXiv:2610.02598v1cs.LG공통 태그 GPU, CPU

오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성

Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights

가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.

arXiv:2610.03187v1cs.DC공통 태그 GPU, CPU

로봇 안내견을 위한 경량 및 자원 효율적 인지

Lightweight and Resource-Efficient Perception for Robotic Guide Dogs

다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.

arXiv:2609.27547v1cs.LG공통 태그 GPU, CPU

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.