PyTorchKR Papers

최신 논문

총 53편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.19618v4cs.CV

차등 프라이버시 의료 영상 분석에서 프라이버시-유틸리티 트레이드오프를 설정할 때 사전학습 도메인이 학습 목표보다 더 중요하다

The pretraining domain outweighs the training objective in setting the privacy-utility trade-off of differentially private medical image analysis

Differential privacy limits how much each training image can influence a medical imaging model but lowers its diagnostic accuracy. Pretrained weights reduce this loss. It is unknown whether the pretraining objective or domain improves accuracy more. Here we train chest radiograph classifiers under differential privacy from five starting points on 591,884 radiographs from five datasets. We show that supervised pretraining on chest radiographs ranks first in 24 of 25 combinations of dataset and privacy setting. Measured by the area under the receiver operating characteristic curve, its lead over supervised pretraining on natural images is 2.6% without privacy and 15.3% at the strictest budget. From that starting point, changing the domain improves this area 2.2 to 3.7 times more than changing the objective. Private pretraining on chest radiographs lowers this area by about 5% under privacy but outperforms the three starting points without patient data at the strictest budget. Under privacy, supervised chest radiograph pretraining leads in the worst-performing demographic subgroup.

arXiv:2610.13768v1stat.ML

픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크

From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds

공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.

arXiv:2610.13631v1cs.LG

프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류

Private and Distributionally Robust Federated Multiclass Classification

자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.

arXiv:2412.09119v4cs.LG

분포 내 및 분포 외 머신 언러닝의 유틸리티와 복잡도

The Utility and Complexity of in- and out-of-Distribution Machine Unlearning

머신 언러닝(machine unlearning)은 학습된 모델에서 데이터를 선택적으로 제거하는 과정으로, 배포 이후 프라이버시 우려와 지식 격차를 해결하는 데 점점 더 중요해지고 있다. 이러한 중요성에도 불구하고, 기존 접근법은 종종 휴리스틱적이며 공식적인 보장이 부족하다. 본 논문에서는 근사 언러닝(approximate unlearning)의 근본적인 유틸리티, 시간 및 공간 복잡도 트레이드오프를 분석하고, 차분 프라이버시(differential privacy)와 유사한 엄밀한 인증을 제공한다. 분포 내(in-distribution) 망각 데이터(유지 집합과 유사한 데이터)에 대해, 출력 교란(output perturbation)을 적용한 경험적 위험 최소화(empirical risk minimization)라는 놀랍도록 단순하고 일반적인 절차가 타이트한 언러닝-유틸리티-복잡도 트레이드오프를 달성함을 보인다. 이는 차분 프라이버시를 통해 본질적으로 이러한 데이터 제거가 용이해지는 '공짜(for free)' 언러닝과의 분리에 관한 이전의 이론적 공백을 해소한다. 그러나 이러한 기법은 유지 집합과 크게 다른 데이터인 분포 외(out-of-distribution) 망각 데이터에서는 실패하며, 이 경우 단 하나의 샘플에 대해서도 언러닝 시간 복잡도가 재학습(retraining)을 초과할 수 있다. 이를 해결하기 위해, 우리는 유틸리티를 저해하지 않으면서 언러닝 시간 복잡도를 증명 가능하게 분할 상각(amortize)하는 새로운 강건하고 노이즈가 추가된 경사하강법 변형을 제안한다.

arXiv:2609.15039v3cs.CR

SpliTEE: GPU 보조 신뢰 실행 환경과 차분 프라이버시의 결합을 통한 빠르고 프라이빗한 LLM 추론

SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy

대규모 언어 모델(LLM)에 제공되는 사용자 프롬프트에는 개인정보가 포함될 수 있습니다. 이를 보호하는 한 가지 방법은 신뢰 실행 환경(TEE) 내에서 LLM을 실행하는 것입니다. 그러나 현재 TEE는 LLM 추론에 있어 GPU보다 현저히 느리기 때문에 추론 시간이 오래 걸립니다. 이를 우회하기 위해 Tramèr와 Boneh (2019)는 신경망 추론을 TEE와 신뢰할 수 없는 GPU 간에 분할하는 Slalom을 제안했습니다. 이들은 GPU로 아웃소싱되는 연산의 입력을 암호화합니다. 본 논문에서는 이러한 분할 추론 아키텍처를 LLM 추론으로 확장하고, 대신 차분 프라이버시(DP)를 사용하여 중간 입력을 보호합니다. 먼저 이러한 표현으로부터의 프롬프트 복원 공격에서 80%의 정확도를 보임으로써 중간 표현 마스킹이 필수적임을 입증합니다. 본 논문의 주요 기여는 LLM 추론의 핵심 함수들에 대한 전역 민감도 분석으로, 필요한 DP 노이즈의 크기를 제한하는 것입니다. 암호화와 달리 DP는 양자화를 피할 수 있어 LLM이 부동 소수점 영역에 유지되도록 합니다. 또한 프라이버시 매개변수 입실론(epsilon)의 함수로서 마스킹 및 후속 노이즈 상쇄로 인한 부동 소수점 오차의 상한을 도출하여 동일한 LLM 응답 품질을 유지합니다. 인텔 TDX TEE와 두 가지 LLM(Llama-3.2-3B, Qwen3-4B)을 사용하여 아키텍처를 구현했습니다. 제안하는 분할 실행은 완전한 TDX 기반 추론보다 거의 2배 빠릅니다. 나아가 더 높은 정확도를 달성하면서도 Slalom보다 최대 43% 빠릅니다. 마지막으로 DP 메커니즘을 알고 있는 상태에서도 프롬프트 복원이 무관한 프롬프트에 포함된 것 이상의 정보를 복구할 수 없음을 입증합니다.

arXiv:2605.06259v3cs.LG

랜덤 할당 기반 서브샘플링을 적용한 DP-SGD의 트레이드오프 함수: 빈틈없는 상한 및 하한

Trade-off Functions for DP-SGD with Subsampling based on Random Allocation: Tight Upper and Lower Bounds

$f$-DP 프레임워크 내에서, 각 샘플이 에포크(epoch)당 $M$개의 미니배치 중 정확히 하나에 독립적으로 할당되는 랜덤 할당(random allocation) 기반 서브샘플링을 적용한 차분 프라이버시 확률적 경사하강법(DP-SGD)의 트레이드오프 함수에 대한 빈틈없는(tight) 분석을 도출합니다. 여기서 각 미니배치는 단일 에포크 내 $M$번의 SGD 라운드 중 하나에 대응합니다. 우리의 분석은 명시적인 유효성 조건 하에서 성립하며, 이 조건의 가설들은 결합하여 $σ\geq \sqrt{3/\ln M}$을 강제합니다(여기서 $σ$는 DP 노이즈 승수). 기계 계산은 가능하지만 불투명한 닫히지 않은 암시적 공식(non-closed implicit formulas)을 생성하는 포아송 서브샘플링(Poisson subsampling)에 대한 $f$-DP 분석과 달리, 랜덤 할당은 투명하고 해석 가능한 닫힌 형태(closed-form)의 경계를 제공하는 빈틈없는 분석을 가능하게 합니다. 단일 에포크에 대해 베리-에센 정리(Berry-Esseen theorem)를 통해 도출된 구체적인 경계는 상수 계수 차이 내에서 빈틈없습니다(tight up to constant factors). 단일 에포크($E=1$)에 대해 해당 트레이드오프 함수가 $\geq 1-a-δ$, 즉 이상적인 무작위 추측 대각선 $1-a$보다 단지 $δ$만큼 아래에 있는 계산된 매개변수 설정을 시연합니다. $δ= 1/100$ 및 $σ= 1$의 경우 유의미한 차분 프라이버시를 달성하는 데 약 $M \approx 1.14\times 10^6$ 라운드와 $N \approx 1.14\times 10^7$ 학습 샘플로 충분합니다. 이는 유의미한 DP 보장이 존재할 수 없는 체제인 $σ\leq 1/\sqrt{2 \ln M}$에 대한 최근의 부정적인 결과와 대조됩니다.

arXiv:2510.23463v4cs.LG

덤으로 얻는 차분 프라이버시: 다중 안테나 기지국 환경의 다중 접속 페이딩 채널 기반 연합 학습

Differential Privacy as a Perk: Federated Learning over Multiple-Access Fading Channels with a Multi-Antenna Base Station

연합 학습(FL)은 학습(training) 과정에서 원시 데이터를 교환할 필요를 없애 프라이버시를 보존하는 분산 학습 패러다임입니다. 아날로그 무선 연산(AirComp) 기반 무선 전송을 사용하는 전형적인 엣지 환경의 연합 학습인 무선 연합 학습(AirFL)에서는, 내재된 채널 잡음이 노이즈가 섞인 글로벌 집계로 인해 학습 성능을 저하시키는 동시에 차분 프라이버시(DP)로 정량화되는 프라이버시 보호 메커니즘을 위한 자연스러운 무작위성(randomness) 원천을 제공한다는 점에서 독특한 '양날의 검(frenemy)' 역할을 합니다. 그럼에도 불구하고, 단순한 채널 모델이나 제한된 유형의 손실(loss) 함수를 가정한 기존 연구들은 주로 단일 라운드 또는 수렴하지 않는 프라이버시 손실 상한을 통한 (로컬) DP 향상만을 고려했기 때문에 이러한 채널 열화를 효과적으로 활용하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 사용자 수준 DP 요구 조건을 만족해야 하는 다중 안테나 기지국(BS) 기반 다중 접속 페이딩 채널 환경의 AirFL을 연구합니다. 유사한 환경에서 일반적으로 DP를 보장하려면 인공 잡음(AN)을 주입해야 한다고 주장한 최근 연구와 달리, 본 연구는 인공 잡음을 전혀 사용하지 않고도 DP를 하나의 '덤(perk)'으로 확보할 수 있음을 입증합니다. 구체적으로, 모델(model) 파라미터에 대한 일반적인 유계 도메인 가정 하에서 수렴(convergence)하는 새로운 DP 상한을 도출함과 동시에, 일반적인 매끄러운 비볼록(non-convex) 손실 함수 환경에서의 수렴 상한도 도출합니다. 이어 수신 빔포밍과 전력 할당을 최적화하여 최적의 수렴-프라이버시 트레이드오프를 규명하며, 학습 성능을 저하시키지 않고도 DP를 달성할 수 있는 명시적 조건들을 밝혀냅니다. 마지막으로, 광범위한 수치 결과를 통해 본 논문의 이론적 발견들을 검증합니다.

arXiv:2510.07304v2cs.AR

Cocoon: 상관 노이즈를 활용한 차분 프라이버시 기반 학습을 위한 시스템 아키텍처

Cocoon: A System Architecture for Differentially Private Training with Correlated Noises

머신러닝(ML) 모델은 학습(training) 데이터를 기억하고 유출하여 데이터 소유자에게 심각한 개인정보 침해 문제를 야기합니다. 이에 대한 해결책으로 차분 프라이버시(differential privacy, DP)를 적용한 학습 알고리즘이 주목받고 있습니다. 그러나 이러한 알고리즘은 매 학습 반복(iteration)마다 노이즈를 추가하여 정확도를 저하시키므로 실제 환경에서의 도입을 제한합니다. 정확도를 개선하기 위해, 반복 간에 노이즈가 서로 상쇄되도록 정교하게 설계된 상관 노이즈(correlated noises)를 추가하는 새로운 접근 방식군이 등장했습니다. 본 연구에서는 이러한 새로운 메커니즘에 대한 광범위한 특성 분석 연구를 수행하였으며, 모델이 비교적 크거나 하드웨어 용량 대비 대규모 임베딩(embedding) 테이블을 사용할 때 상당한 오버헤드가 발생함을 확인했습니다. 이러한 분석을 바탕으로, 상관 노이즈를 활용한 효율적인 학습을 위한 프레임워크인 Cocoon을 제안합니다. Cocoon은 CPU, GPU 및 메모리 확장 모듈 전반에 걸쳐 방대한 노이즈 히스토리를 저장하고 처리하며, 희소(sparse) 임베딩 테이블을 위한 최적화를 도입하고 상용화를 앞둔 근접 메모리 연산(near-memory processing, NMP) 장치를 활용합니다. FPGA 기반 NMP 장치 프로토타입을 탑재한 실제 시스템에서 Cocoon은 성능을 1.23~10.82배 향상시킵니다.

arXiv:2610.02504v1cs.AI

HXAI: 분산 에너지 시스템에서의 계층적 프라이버시 보호 설명 가능한 AI

HXAI: Hierarchical Privacy-Preserving Explainable AI in Distributed Energy Systems

재생 에너지 발전의 내재적인 간헐성과 확률적인 전력 소비로 인해 전력 수요와 공급의 균형을 맞추는 것이 점점 더 어려워지고 있습니다. 전력망 운영자는 피크 부하를 관리하고 대응형 요금제를 설계하기 위해 가구별 에너지 소비에 대한 세밀하고 의사결정에 유의미한 통찰을 필요로 하지만, 이 수준에서 투명성이 높아지면 심각한 프라이버시 문제가 발생합니다. 설명 가능한 AI(XAI)의 전통적인 방법들은 민감한 정보를 노출할 수 있는 반면, 표준적인 프라이버시 기법들은 설명의 유용성을 저하시키는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 프라이버시를 보호하면서도 전력망 수준의 수요 관리를 위한 합리적인 설명 가능 분석을 가능하게 하는 계층적 프레임워크인 HXAI를 제안합니다. HXAI는 두 가지 주요 구성 요소로 이루어져 있습니다: (1) 안전한 비공개 환경(environment) 내에서 세밀한 설명을 생성하는 로컬 모델(model), (2) 이러한 설명을 집계하여 전력망 수준의 분석을 지원하는 동시에 유연한 프라이버시 예산 관리를 통해 프라이버시를 보장하는 구역(zonal) 모델. 우리는 운영자의 반복적인 쿼리 하에서 누적 프라이버시 노출을 명시적으로 제한하며, 제안된 프레임워크가 가구의 프라이버시를 침해하지 않으면서도 의사결정에 유의미한 정보를 보존함을 보여줍니다. 시뮬레이션 및 실제 에너지 데이터셋 모두에 대한 실험을 통해, HXAI가 가전제품 수준의 소비 정보는 로컬에 유지되어 전력망 운영자에게 결코 전송되지 않도록 보장하면서도 구역 부하 관리를 위한 유용한 통찰을 제공함을 입증합니다. 우리의 결과는 수치적 오차를 최소화하는 것보다 설명의 의미론적 구조를 보존하는 것이 차분 프라이버시(differential privacy) 하에서 XAI의 핵심임을 보여줍니다. 이 프레임워크는 에너지 관리에서 프라이버시와 설명 가능성을 모두 달성할 수 있는 방법을 제공합니다.

arXiv:2610.02943v1cs.CV

피험자 수준 프라이버시를 고려한 기구학 유도 다중 모달 3D 인간 자세 추정

Kinematics-Induced Multimodal 3D Human Pose Estimation with Subject-Level Privacy

다중 모달 3D 인간 자세 추정(3D Human Pose Estimation, 3D HPE)은 RGB, LiDAR, mmWave 레이더의 상호 보완적인 정보를 결합하지만, 동일한 개인으로부터 얻은 상관된 관측치로 학습된 모델은 레코드 수준 분석에서는 간과되는 프라이버시 위험을 초래합니다. 본 논문에서는 기구학 유도(kinematics-induced) 센서 융합을 피험자 수준(subject-level) 프라이버시 감사 및 프라이버시 보존 학습과 결합한 다중 모달 3D HPE를 위한 통합 프레임워크를 제시합니다. 첫째, 제안하는 다중 모달 모델은 모달리티별 관절 표현을 정렬하고 골격 구조를 주입하며 상호 보완적인 센서 단서를 적응적으로 통합하여 정확한 자세 예측을 수행합니다. 둘째, 개별 공격 점수 결과가 멤버십 결과에 대한 추론을 어떻게 변화시키는지 특성화하는 경험적 점별 최대 누출(pointwise maximal leakage) 분석을 보완하여, 3D HPE를 위한 블랙박스 피험자 멤버십 추론 공격(membership inference attack)을 정식화합니다. 셋째, 행동 및 시간적 범위를 보장하는 모집단 가중 피험자 내 샘플링 전략인 행동-시간 계층화(Action Temporal Stratification)를 통해 사용자 수준 차분 프라이버시(differential privacy)를 구현합니다. 세 가지의 다양한 실험 프로토콜에 걸쳐 MM-Fi 데이터셋에서 본 프레임워크를 평가합니다. 소스 코드는 논문 채택 시 공개될 예정입니다.

arXiv:2607.06320v3cs.CR

무작위성 효율적인 차분 프라이버시를 위한 디더링 가우시안 메커니즘

Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy

본 논문에서는 노이즈 분포 자체가 아닌 비공개 출력을 이산화하여 차분 프라이버시(differential privacy)를 달성하는 이산 가우시안 메커니즘(discrete Gaussian mechanism)의 대안인 디더링 가우시안 메커니즘(dithered Gaussian mechanism)을 제안합니다. 이러한 이산화를 가우시안 메커니즘의 후처리로 해석함으로써, 본 구조는 유한 정밀도(precision) 부동소수점 출력으로 인해 발생하는 취약점을 방지하는 동시에 표준 가우시안 메커니즘의 프라이버시 보장을 직접 계승합니다. 또한 이 메커니즘은 무작위성(randomness) 측면에서 효율적임을 증명할 수 있습니다. 이산화된 출력값을 직접 샘플링함으로써 프라이버시에 필요한 고품질 무작위 비트의 수를 크게 줄이고 노이즈 수준과 무관하게 만들 수 있습니다. 이는 무작위성을 두 가지 원천으로 분리함으로써 달성됩니다. 즉, 프라이버시에 결정적인 샘플링 단계에 사용되는 고품질 원천과, 무작위 이산화에 필요한 추가 무작위성을 공급하며 공격자에게 알려질 수도 있는 고성능 공개 원천으로 나뉩니다. 이러한 분리를 통해 실질적인 성능 손실(loss) 없이 암호학적으로 안전한 무작위성을 활용할 수 있습니다. 응용 사례로서 DP-SGD를 사용한 모델(model) 학습(training)을 연구하며, 부동소수점 취약점 노출을 줄이면서 암호학적으로 안전한 노이즈 생성을 미미한 실무적 오버헤드로 달성할 수 있음을 보입니다.

arXiv:2601.22434v2cs.CR

합성 데이터 생성에서 익명성 주장의 재고: 모델 중심 프라이버시 공격 관점

Rethinking Anonymity Claims in Synthetic Data Generation: A Model-Centric Privacy Attack Perspective

합성 정형 데이터를 생성하기 위해 생성 머신러닝 모델을 학습(training)하는 것은 데이터 공유 시 프라이버시를 강화하기 위한 대표적인 접근 방식으로 자리 잡았습니다. 이는 일반적으로 민감한 개인정보 처리를 수반하므로, 학습된 모델이나 생성된 합성 데이터셋(dataset)을 공개하는 것은 여전히 프라이버시 위험을 초래할 수 있습니다. 그러나 최근의 연구, 상용 배포, 그리고 일반 개인정보 보호법(GDPR)과 같은 프라이버시 규정은 대체로 개별 데이터셋 수준에서 익명성을 평가하고 있습니다. 본 논문에서는 모델 중심적 관점에서 합성 데이터에 대한 익명성 주장을 재고하며, 유의미한 평가는 기반이 되는 생성 모델을 고려해야 하고 최신 프라이버시 공격에 기반해야 한다고 주장합니다. 이러한 관점은 학습된 모델에 접근하여 상호작용하거나 질의할 수 있는 경우가 많은 실제 배포 환경을 더 잘 반영합니다. 저자들은 이러한 접근 가정을 바탕으로 GDPR의 개인정보 및 익명화 정의를 해석하여 완화되어야 하는 식별 가능성 위험을 규명하고, 이를 다양한 위협 설정 전반의 프라이버시 공격과 매핑합니다. 이어 합성 데이터 기술만으로는 충분한 익명화를 보장할 수 없음을 논증합니다. 마지막으로 합성 데이터에 가장 널리 사용되는 두 가지 메커니즘인 차분 프라이버시(DP)와 유사도 기반 프라이버시 지표(SBPM)를 비교하고, DP는 식별 가능성 위험에 대해 강력한 보호를 제공할 수 있는 반면 SBPM은 적절한 안전장치가 부족함을 지적합니다. 종합적으로, 본 연구는 식별 가능성에 대한 규제적 개념과 모델 중심 프라이버시 공격을 연결하여 연구자, 실무자 및 정책 입안자가 합성 데이터 시스템을 더욱 책임감 있고 신뢰성 있게 평가할 수 있도록 지원합니다.

arXiv:2609.25155v1stat.ML

엣지 프라이버시 그래프 생성기의 실증적 감사

Empirical Auditing of Edge-Private Graph Generators

본 연구에서는 공격을 통해 확인된 프라이버시 손실(privacy loss)에 대해 통계적으로 유효한 하한을 사용하여, 엣지 이웃(edge-neighbouring) 입력으로부터 생성된 출력이 구별 가능한 상태로 유지되는지 테스트함으로써 프라이버시 유출을 실증적으로 감사합니다. 본 프레임워크는 타깃 엣지를 둘러싼 기하학적 구조를 통해 직접 엣지(direct-edge), 국소 구조(local-structural), 그리고 GNN 기반 공격을 비교합니다. 두 개의 생성기와 두 개의 네트워크에 걸친 실험 결과, 프라이버시 유출은 메커니즘과 네트워크 모두에 의존적이며, 학습된 표현(learned representation)이 기존의 국소 통계로는 포착되지 않는 정보를 드러냄을 보여줍니다.

arXiv:2606.12654v2stat.ME

계산적으로 효율적이고 강건한 차등 프라이버시 평균 추정

Computationally tractable robust differentially private mean estimation

계산적으로 효율적이고 이상치에 강건한 차등 프라이버시 평균 추정기인 balloon mean을 제안하며, 이는 확장되는 마할라노비스 볼에 대한 반복적 클리핑 절차를 기반으로 한다. 무거운 꼬리 분포 및 오염된 모델 하에서 이론적 보장을 제공하고, 시뮬레이션을 통해 오염된 환경에서 기존 방법보다 우수한 성능을 입증했다.

arXiv:2607.08659v2cs.LG

EdgeRefine: Privacy-Utility Balance for Graphs via Jaccard Sampling under Edge Differential Privacy

Jaccard 유사도 기반 확률 추정과 프라이버시 예산 ε을 활용한 결정론적 엣지 샘플링으로 노이즈 그래프를 정제하는 로컬 차분 프라이버시(Local Differential Privacy) 프레임워크 EdgeRefine을 제안하며, ε=2.5 조건에서 기존 최신 기법 대비 노드 분류 정확도를 최대 19.7%까지 향상시키면서도 그래프 재구성 공격에 대한 강한 프라이버시 보호를 동시에 달성한다.

arXiv:2607.23029v1cs.LG

연합 학습에서의 다중 에이전트 프라이버시 게임: 통합 평균장 관점

Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View

연합 학습은 데이터를 중앙에 모으지 않고 분산된 클라이언트 간 협력적 모델 학습을 가능하게 하지만, 공유되는 모델 업데이트가 로컬 데이터셋에 관한 정보를 유출할 수 있어 프라이버시는 여전히 지속적인 우려 사항이다. 기존 프라이버시 보존 방법들은 클라이언트 업데이트에 보정된 노이즈를 주입하여 합성 보장을 제한하거나, 클라이언트의 프라이버시 선택을 다중 에이전트 게임으로 공식화하는데, 클라이언트 수가 증가할수록 내시 균형(Nash equilibrium)을 구하기 어렵게 만든다. 우리는 프라이버시 보존 연합 학습을 평균장(mean-field) 프라이버시 게임으로 공식화함으로써 이 두 연구 계열을 잇는다. 각 클라이언트는 단일 평균장 통계량을 통해서만 모집단과 상호작용하면서 자신의 프라이버시 예산을 전략적으로 선택한다. 평균장 극한은 임의로 많은 클라이언트에 대해 다루기 쉬운 균형을 제공하고, 이질적인 클라이언트 선호를 수용하며, log-Sobolev 수축을 통해 지수적으로 감쇠하는 프라이버시 보장을 상속한다. 이 프레임워크는 동질적인 특수 경우로서 엔트로피 프라이버시 기준선을, 유한 모집단 경우로서 다중 에이전트 프라이버시 게임을 복원한다. 2차 회귀, 로지스틱 회귀, MNIST에 대한 실험은 제안 프레임워크가 동질 기준선이 표현할 수 없는 개인화된 프라이버시 보장을 제공하면서 엔트로피 기준선의 프라이버시-유틸리티 트레이드오프를 달성함을 보여준다.

arXiv:2510.05416v3cs.LG

모델 곡률을 이용한 DP-SGD의 반복 간 노이즈 상관화

Correlating Cross-Iteration Noise for DP-SGD using Model Curvature

차등 프라이버시 확률적 경사하강법(DP-SGD)은 많은 프라이버시 위험을 완화하면서 심층 학습 모델을 학습할 수 있다는 가능성을 제공한다. 그러나 현재 DP-SGD와 일반 SGD 학습 사이에는 큰 정확도 격차가 존재한다. 이로 인해 프라이버시 보존 학습을 개선하는 서로 다른 연구 방향들이 조사되어 왔다. 그러한 연구 중 하나인 DP-MF는 확률적 경사하강법의 서로 다른 반복 간 프라이버시 노이즈를 상관시켜, 이후 반복이 이전 반복에 추가된 노이즈의 일부를 상쇄할 수 있게 한다. 본 논문에서는 이러한 노이즈 상관을 개선하는 방법을 연구한다. 우리는 공개된 비레이블 데이터로부터 추정한 모델 곡률을 사용하여 반복 간 노이즈 상관의 품질을 개선하는 NoiseCurve라는 기법을 제안한다. 다양한 데이터셋, 모델, 프라이버시 매개변수에 대한 실험 결과, NoiseCurve가 계산한 노이즈 상관은 DP-MF에서 사용하는 상관 방식 대비 일관되고 유의미한 정확도 향상을 제공함을 보여준다.

arXiv:2508.10017v2cs.CR

SMOTETomek과 FedProx를 활용한 불균형 임상 데이터上的 차등 프라이버시 연합 학습을 위한 견고한 파이프라인

A Robust Pipeline for Differentially Private Federated Learning on Imbalanced Clinical Data using SMOTETomek and FedProx

연합 학습(Federated Learning, FL)은 분산된 데이터에서 모델 학습을 수행하면서 환자 프라이버시를 보호하는 협력적 건강 연구를 위한 획기적인 접근법을 제시한다. FL은 차등 프라이버시(Differential Privacy, DP)와 결합될 때 형식적인 보안 보장을 제공한다. 그러나 이러한 기술의 통합은 프라이버시와 임상적 유용성 사이에 상당한 트레이드오프를 도입하며, 의료 데이터셋에 흔히 존재하는 심각한 클래스 불균형으로 인해 이 과제는 더욱 복잡해진다. 본 연구는 체계적이고 다단계적인 분석을 통해 이러한 상호 연관된 문제들을 다룬다. 심혈관 위험 예측을 위한 FL 프레임워크를 구현했으며, 초기 실험에서 표준 방법들이 불균형 데이터에 어려움을 겪어 재현율이 0에 그쳤음을 보였다. 이러한 한계를 극복하기 위해, 먼저 클라이언트 수준에서 하이브리드 Synthetic Minority Over-sampling Technique with Tomek Links(SMOTETomek)를 통합하여 임상적으로 유 useful한 모델을 성공적으로 개발했다. 이후 프레임워크는 튜닝된 FedProx 알고리즘을 사용하여 non-IID 데이터에 맞게 최적화되었다. 최종 결과는 프라이버시 예산(epsilon)과 모델 재현율 사이에 명확한 비선형 트레이드오프가 있음을 보여주며, 최적화된 FedProx가 표준 FedAvg를 지속적으로 능가했다. 프라이버시-유용성 프론티어에서 최적 운영 영역이 확인되었으며, 여기서는 강력한 프라이버시 보장(epsilon 9.0)을 달성하면서도 높은 임상적 유용성(재현율 77% 초과)을 유지할 수 있다. 궁극적으로 본 연구는 실제 세계의 이질적인 의료 데이터에 적용할 수 있는 효과적이고 안전하며 정확한 진단 도구를 구축하기 위한 실용적인 방법론적 청사진을 제공한다.

arXiv:2407.08233v3cs.LG

은닉 상태 가정 하에서의 차등 프라이버시 신경망 학습

Differentially Private Neural Network Training Under the Hidden State Assumption

현재 차등 프라이버시 학습 패러다임은 심각한 유틸리티 병목에 직면해 있다. DP-SGD는 학습 단계에 걸친 노이즈 누적로 인해 성능이 저하되는 반면, PATE와 같은 집계 기반 접근법은 분리된 데이터 분할로 인한 데이터 비효율성을 겪는다. 우리는 표현 학습(representation learning)과 프라이버시 강제를 분리하는 프레임워크인 \textbf{차등 프라이버시 분리 학습(DP-DT)}을 제안한다. DP-DT는 노이즈 주입을 가중치 집계 단계로 한정하고, 전역 모델과 지속적으로 동기화되는 보조 모델을 사용하여 비공개 데이터 샤드에서 노이즈 없는 특징 추출을 수행한다. 우리는 Lyapunov 잠재 분석과 Kurdyka--Łojasiewicz 성질을 결합하여, DP-DT가 비볼록 목적 함수 하에서 전역적으로 극한점으로 수렴함을 증명한다. 은닉 상태 가정(Hidden State Assumption) 하에서 적대자가 최종 공개 모델만 관측하는 경우, DP-DT의 프라이버시 손실이 반복에 따라 누적되기보다 상수 경계로 수렴할 수 있음을 추가로 증명한다. 비전 및 언어 벤치마크에 걸친 실험 결과는 DP-DT가 유틸리티 저하를 크게 완화하며 최신(state-of-the-art) 프라이버시-유틸리티 트레이드오프를 달성함을 확인한다.

arXiv:2607.08122v2cs.LG

최대 엔트로피 보정을 통한 인과 추론용 워크로드 보존 차분 프라이버시 합성 데이터

Workload-Preserving Differentially Private Synthetic Data for Causal Inference via Maximum-Entropy Calibration

차분 프라이버시(DP) 합성 데이터에서 평균 처리 효과(ATE) 추정 시 범용 워크로드가 인과 추정에 필요한 모멘트를 보존하지 못하는 문제를 해결하기 위해, 이중 강건 추정기의 직교 모멘트를 기반으로 설계된 인과 워크로드(causal workload)와 최대 엔트로피 보정(maximum-entropy calibration)을 제안한다. 실험 결과, 인과 워크로드와 노이즈 인식 다중 대체(NA+MI)를 결합한 방법이 엄격한 프라이버시 예산(ε≤1)에서 99.8~100%의 신뢰 구간 커버리지를 달성한 반면, 기존 합성 데이터 방법은 35.2% 이하에 그쳤다.