멤버십 추론과 프라이버시 감사의 샘플 복잡도
The Sample Complexity of Membership Inference and Privacy Auditing
한국어 초록
멤버십 추론 공격(membership-inference attack)은 학습 알고리즘의 출력과 타겟 개인(target individual)을 입력받아, 해당 개인이 학습 데이터의 멤버인지 아니면 동일한 분포에서 추출된 독립적인 샘플인지를 판별하려 시도한다. 성공적인 멤버십 추론 공격은 일반적으로 공격자가 학습 데이터가 추출된 분포에 대한 어느 정도의 지식을 가지고 있어야 하며, 이러한 지식은 흔히 해당 분포로부터의 독립적인 참조 샘플(reference sample) 집합을 통해 포착된다. 본 연구에서는 성공적인 공격에 필요한 최소한의 참조 샘플 수인 샘플 복잡도(sample complexity)를 조사함으로써, 공격자가 멤버십 추론을 위해 얼마나 많은 정보를 필요로 하는지를 연구한다. 우리는 이 문제를 가우시안 평균 추정(Gaussian mean estimation)이라는 기본적인 설정에서 연구한다. 이 설정에서 학습 알고리즘은 $d$차원의 가우시안 분포 $\mathcal{N}(μ,Σ)$로부터 $n$개의 샘플을 받아, $\mathbb{E}[\|\hatμ- μ\|^2_Σ]\leq ρ^2 d$를 만족하는 오차 범위 내에서 $\hatμ$를 추정하려 한다. 우리의 결과는 이러한 설정에서 멤버십 추론을 수행할 때, 완전한 정보를 가진 공격자(fully informed attacker)와 경쟁할 수 있는 어떠한 공격을 수행하기 위해서도 $Ω(n + n^2 ρ^2)$개의 샘플이 필요할 수 있음을 보여준다. 우리의 결과는 공격자가 때때로 모델 학습에 사용된 샘플 수보다 훨씬 더 많은 샘플을 필요로 한다는 것을 처음으로 보여준다. 이 결과는 실무에서 사용되는 모든 공격이 $O(n)$개의 샘플만을 사용하는 제한된 형태를 가지며 $ω(n)$개의 샘플로부터는 이득을 얻을 수 없기 때문에, 실무적으로 중요한 함의를 갖는다. 따라서 이러한 공격들은 멤버십 추론의 가능성을 과소평가하고 있을 수 있으며, 분포에 대한 정보를 쉽게 얻을 수 있는 경우 더 나은 공격이 가능할 수도 있다.
원문 초록
A membership-inference attack gets the output of a learning algorithm, and a target individual, and tries to determine whether this individual is a member of the training data or an independent sample from the same distribution. A successful membership-inference attack typically requires the attacker to have some knowledge about the distribution that the training data was sampled from, and this knowledge is often captured through a set of independent reference samples from that distribution. In this work we study how much information the attacker needs for membership inference by investigating the sample complexity-the minimum number of reference samples required-for a successful attack. We study this question in the fundamental setting of Gaussian mean estimation where the learning algorithm is given $n$ samples from a Gaussian distribution $\mathcal{N}(μ,Σ)$ in $d$ dimensions, and tries to estimate $\hatμ$ up to some error $\mathbb{E}[\|\hat μ- μ\|^2_Σ]\leq ρ^2 d$. Our result shows that for membership inference in this setting, $Ω(n + n^2 ρ^2)$ samples can be necessary to carry out any attack that competes with a fully informed attacker. Our result is the first to show that the attacker sometimes needs many more samples than the training algorithm uses to train the model. This result has significant implications for practice, as all attacks used in practice have a restricted form that uses $O(n)$ samples and cannot benefit from $ω(n)$ samples. Thus, these attacks may be underestimating the possibility of membership inference, and better attacks may be possible when information about the distribution is easy to obtain.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?
When are bosonic Gaussian states classical to learn?
물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
라우팅이 멤버십을 드러낼 때: MoE 라우터 텔레메트리로 인한 프라이버시 누출
When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.
Seer: 학습 속도 곡선을 위한 최대가능도 회귀
Seer: Maximum Likelihood Regression for Learning-Speed Curves
본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.
비점근적 분석을 갖춘 확장 가능한 최소 부피 단체 추정
Scalable Minimum-Volume Simplex Estimation with Non-asymptotic Analysis
본 연구에서는 $K$차원 단체(simplex)의 내부에서 균등하게 추출된 $N$개의 독립항등분포(i.i.d.) 점들로부터 해당 단체를 추정하는 문제를 다룹니다. 관측치는 $K+1$개의 미지 원형(prototype)들의 볼록 결합(convex combination)입니다. 기존의 다항 시간(polynomial-time) 추정량들은 샘플당 3차(cubic) 계산량을 요구하거나 $O(NK)$ 메모리를 필요로 하여, $N\sim 10^6$--$10^8$ 규모에서는 비실용적입니다. 본 논문에서는 최소 부피 원리를 신경 암시적 형태(neural implicit form)로 재표현한 DeepMVSA를 제안합니다. 경량 좌표 네트워크(coordinate network)가 혼합 가중치를 생성하고 삼각 LU 형태의 매개변수화가 쌍대 단체 행렬을 생성함으로써, 학습 가능한 상태 메모리를 $N$과 무관한 $O(K^2)$으로 줄이고 데이터 1회 패스당 비용을 $O(NK^2)$으로 감소시킵니다. 본 연구는 국소화된 대리 추정량에 대해 다항 시간 벤치마크 차수의 비점근적(non-asymptotic) 샘플 복잡도 경계를 증명합니다. 또한 부피 팽창 제어 및 명시적 축소 바이어스를 갖춘 신경망 목적 함수의 모든 전역 최소해(global minimizer)에 대한 오라클 부등식, 명시적 포락선 사건(envelope event)에서 통계적, 근사, 최적화(optimization) 및 포함 잔차 항을 분리하는 조건부 종단간(end-to-end) 오차 예산, 그리고 두 점 하한(two-point lower bounds)을 증명합니다. 즉, $N$과 무관하게 고정된 임의의 노이즈 수준 $\sigma>0$에서 $N^{-1/2}$ 스케일링(scaling)은 $N$ 지수 측면에서 개선될 수 없음을 보입니다. 최대 $N=10^8$개의 합성 관측치를 사용한 실험은 예측된 정확도 및 스케일링과 일치하며, 약 $10^7$ 픽셀의 실제 장면에 대한 실현 가능성을 입증합니다.
절단된 불리언 곱 분포의 효율적 학습: 영향력의 구원
Efficient Learning of Truncated Boolean Product Distributions: Influence to the Rescue
부분집합 $S \subseteq \{0,1\}^n$으로 제약된 독립 표본으로부터 이산 분포 $μ_z$의 자연 매개변수 $z \in \mathbb{R}^n$를 학습하는 것은 고차원 통계학의 기초적인 난제이다. 절단된(truncated) 불리언 곱 분포를 효율적으로 추정하는 기존 방법, 특히 [Fotakis et al' COLT'20, Algorithmica '22]의 연구는 $S$에 대한 강한 국소 연결성 가정—fatness라 불리는 성질—또는 엄격한 반집중(anti-concentration) 가정을 요구하며, 절단 집합의 총 질량이 $n$에 대해 상수일 것을 필요로 한다. 또한 [Fotakis et al' COLT'20, Algorithmica '22]의 결과는 $S$의 질량이 $n$에 대해 지수적으로 작을 경우 표본 복잡도가 $Ω(2^n)$으로 스케일링되는 한계를 갖는다. 본 연구에서는 측도 $μ_z$ 하에서 $S$의 기하학을 분석함으로써 이러한 한계를 우회한다. fatness 가정 하에서 기존 매개변수 추정 보장을 정교화하여, $\ell_\infty$-복원에 대한 이전 표본 복잡도를 $O( \log n / ε^2)$로 개선하며, 이는 비절단(untruncated) 미니맥스 비율과 일치한다. 나아가 불리언 함수 분석에서 사용되는 영향력(influence) 개념으로 fatness를 일반화하고, 효율적인 추론을 위한 충분 조건을 제시한다. 특히 이전 연구와 달리, 우리의 방법은 모델의 임의의 매개변수화에서 표본을 추출할 것을 요구하지 않는다. 마지막으로, 표본 복잡도가 모델의 폭(width)과 집합 내 원소 간 최소 거리에 본질적으로 지수적 의존성을 갖는다는 것을 보이는 이론적 하한을 확립한다.
공정성-프라이버시 트레이드오프 감사: 공정성 향상 알고리즘의 하위 집단 수준 효과
Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms
의료, 법 집행, 금융 등 민감한 분야에 배포된 머신러닝(ML) 모델은 유틸리티 요구사항뿐 아니라 공정성과 프라이버시 보장도 충족해야 한다. 기존 연구는 대체로 프라이버시 보존 기법이 공정성에 미치는 영향을 살펴보았지만, 그 역방향 질문—공정성 향상 알고리즘이 프라이버시 유출에 어떤 영향을 미치는지—는 아직 충분히 탐구되지 않았다. 본 연구는 공정성 개입이 하위 집단(subpopulation) 수준에서 멤버십 추론(membership inference) 프라이버시 위험에 어떤 영향을 미치는지에 대한 최초의 포괄적 연구를 제시한다. 하위 그룹(subgroup) 감사를 위해 Likelihood Ratio Attack(LiRA)을 적응하여, 집계 평가가 감추는 프라이버시 불균형을 밝힌다. 또한 차분 프라이버시(Differential Privacy, DP)가 다양한 범주에서 공정성 향상 방법과 어떻게 상호작용하는지 분석하며, DP의 프라이버시 이점과 유틸리티 비용이 하위 집단 전반에 고르게 분포하지 않음을 보인다. 결과는 공정성 개입이 프라이버시 위험을 균일하게 증가시키지 않으며, 그 영향이 모델 아키텍처, 하위 그룹 크기, 완화 전략에 따라 달라짐을 보여준다. 이러한 발견은 공정성, 프라이버시, 유틸리티를 하위 집단 수준에서 공동으로 평가해야 함을 드러내며, 실무에서 이러한 감사를 지원하기 위한 최초의 통합 실증 프레임워크를 제안한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
59 Pages, Updated compared to v1: improved presentation and fixed typos. To appear in FOCS 2026