arXiv:2412.09164

$(ε, δ)$-Differentially Private Partial Least Squares Regression

Ramin Nikzad-Langerodi, Mohit Kumar, Du Nguyen Duy, Mahtab Alghasi

제출 2024-12-12

원문 초록

As data-privacy requirements are becoming increasingly stringent and statistical models based on sensitive data are being deployed and used more routinely, protecting data-privacy becomes pivotal. Partial Least Squares (PLS) regression is the premier tool for building such models in analytical chemistry, yet it does not inherently provide privacy guarantees, leaving sensitive (training) data vulnerable to privacy attacks. To address this gap, we propose an $(\epsilon, \delta)$-differentially private PLS (edPLS) algorithm, which integrates well-studied and theoretically motivated Gaussian noise-adding mechanisms into the PLS algorithm to ensure the privacy of the data underlying the model. Our approach involves adding carefully calibrated Gaussian noise to the outputs of four key functions in the PLS algorithm: the weights, scores, $X$-loadings, and $Y$-loadings. The noise variance is determined based on the global sensitivity of each function, ensuring that the privacy loss is controlled according to the $(\epsilon, \delta)$-differential privacy framework. Specifically, we derive the sensitivity bounds for each function and use these bounds to calibrate the noise added to the model components. Experimental results demonstrate that edPLS effectively renders privacy attacks, aimed at recovering unique sources of variability in the training data, ineffective. Application of edPLS to the NIR corn benchmark dataset shows that the root mean squared error of prediction (RMSEP) remains competitive even at strong privacy levels (i.e., $\epsilon=1$), given proper pre-processing of the corresponding spectra. These findings highlight the practical utility of edPLS in creating privacy-preserving multivariate calibrations and for the analysis of their privacy-utility trade-offs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 regression, Sensitivity

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2609.27654v1stat.ML공통 태그 regression, Privacy Preserving

FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습

FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints

디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.

arXiv:2609.27355v1cs.LG공통 태그 Sensitivity, Privacy Preserving

유지-망각 손실 지형 상호작용 관점을 통한 양자화 견고한 언러닝

Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction

언러닝(unlearning)은 개인정보 또는 저작권이 있는 학습(training) 데이터의 영향을 제거하여 대규모 언어 모델(LLM)의 규정 준수를 보장합니다. 그러나 실제 배포 환경에서 LLM 모델(model)은 일반적으로 양자화(quantization)와 같은 사후 학습(post-training) 압축을 거치기 때문에 언러닝 효과가 상당히 약화될 수 있으며, 모델 유용성보다 망각 동작이 더 심각하게 저하되는 현상이 관찰되었습니다. 본 논문에서는 전반적인 모델 유용성을 유지하면서 망각이 양자화에 견고하도록 만드는 양자화 견고한 언러닝 프레임워크를 제안합니다. 우리는 이러한 격차를 손실(loss) 지형의 관점에서 분석합니다. 구체적으로, 우리의 분석은 견고하지 못한 망각과 유용성 감소를 모두 초래하는 언러닝된 모델 내의 민감한 가중치를 정확히 찾아내는 곡률 기반 기준을 밝혀냅니다. 이에 따라 우리는 민감한 파라미터에 적용되어 모델 수렴(convergence)을 망각 및 유지 손실이 균일하게 낮은 더 매끄러운 극솟값으로 유도하는 민감도 유도 노이즈 정규화(regularization)를 제안합니다. 언러닝과 유용성의 균형을 맞추기 위해, 유용한 지식을 유지하도록 네트워크 대부분을 보존하면서 망각에 중요한 레이어만을 업데이트하는 망각 중요 최적화를 추가로 제안합니다. 여러 LLM 언러닝 알고리즘에 걸쳐 MUSE 및 TOFU 벤치마크에서 수행한 광범위한 실험은 본 접근 방식이 유용성을 유지하면서도 훨씬 더 양자화 탄력적인 망각을 달성함을 보여줍니다.

arXiv:2609.27658v1cs.LG공통 태그 Sensitivity, Privacy Preserving

노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화

Private Decentralized Optimization with Noise Reduction and Bias Correction

프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.

arXiv:2607.22640v1cs.CY공통 태그 regression, Sensitivity

All of Us Research Program에서 주관적 인지 어려움의 환경·심리사회적 결정요인에 대한 AI 보조 인과 추론 및 매개 분석

AI-Assisted Causal Inference and Mediation Analyses of Environmental and Psychosocial Determinants of Subjective Cognitive Difficulties in the All of Us Research Program

단기 환경 노출은 인지 및 행동 결과와 연관된 것으로 보고되었지만, 많은 보고된 연관성은 더 넓은 지리적·맥락적 차이를 반영할 수 있다. All of Us Research Program(2018--2024)의 종단 데이터를 사용하여, 일별 기상 및 대기오염 노출을 반복 측정된 주의력 관련 및 주관적 인지 결과와 연결했다. 연관성은 pooled, 고정효과(fixed-effects), 시차(lagged), 이벤트 연구(event-study) 분석을 사용하여 평가했다. 잠재적 이질성과 잠재 심리사회적 구조를 탐색하기 위해 추가적인 머신러닝 분석을 수행했다. 2024 Behavioral Risk Factor Surveillance System(BRFSS)을 사용하여 재현 분석을 수행했다. 여러 환경 노출 지표는 pooled 분석에서 인지 결과와 작은 연관성을 보였지만, 대부분은 위치 내 시간적 변이를 통제한 후 상당히 약화되었다. 매개, 민감도, 머신러닝 분석은 유사한 결론을 도출했다. 반면, 정신건강 부담, 외로움, 사회적 기능은 주관적 인지 어려움과 일관되게 연관되어 있었으며 환경 노출보다 실질적으로 더 큰 효과 크기를 보였다. BRFSS에서도 유사한 패턴이 관찰되었다. 탐색적 AI 보조 분석은 1차 종단 분석과 대체로 일치하는 결과를 도출했다. 이 결과는 위치 내 변이를 통제한 후 단기 환경 교란은 인지 결과와 제한적인 연관성을 가질 수 있음을 시사하는 반면, 심리사회적 요인은 주관적 인지 부담과 더 일관되게 연관되는 것으로 보인다.

arXiv:2607.22035v1cs.LG공통 태그 Sensitivity, Privacy Preserving

DCS: 교차 모달 저작권 침해 탐지를 위한 통합 조건부 민감도 프레임워크

DCS: A Unified Conditional Sensitivity Framework for Cross-Modal Copyright Infringement Detection

현재 대부분의 파운데이션 모델(foundation model)은 저작권이 있는 학습 콘텐츠를 재현하거나 이에 강하게 의존할 수 있지만, 출력 유사성만으로는 침해 탐지에 충분하지 않다. 유사한 출력은 퍼블릭 도메인 개념, 일반적인 스타일 관습, 또는 평범한 통계적 일반화에서도 발생할 수 있기 때문이다. 본 논문에서는 저작권 침해 증거를 반사실적(counterfactual) 조건부 분포 이동(distribution shift)으로 취급하는 통합 사후(post-hoc) 탐지 프레임워크를 제안한다. 보호 대상이 학습 과정에 포함되거나 제거될 때 정렬된 조건 하에서 모델의 행동이 측정 가능하게 변한다면 해당 대상은 의심스러운 것으로 본다. 이 관점을 조건부 차분 프라이버시(conditional differential privacy)를 통해 형식화하고, 두 국소적으로 섭동된 모델 상태 사이의 관측 가능한 격차를 측정하는 운영 통계량인 이중 분기 조건부 민감도(Dual-Branch Conditional Sensitivity, DCS)를 도입한다. 구체적으로, 제안된 DCS 프레임워크는 배포된 모델 주위에 학습 분기와 언러닝(unlearning) 분기를 생성하고, 영향 함수(influence function) 분석을 통해 이들의 변위를 이용 불가능한 반사실적 재학습 효과와 연결하며, 관측 가능한 민감도를 반사실적 프라이버시 예산 대리 변수, 국소 곡률, 학습 데이터셋 규모, 섭동 단계 크기로 한정한다. 대상 특이적 암기(memorization)를 일반적인 미세조정 불안정성과 구별하기 위해, 직교 조건에서 측정된 민감도를 차감하는 보정된 탐지 통계량을 추가로 정의한다. DCS 프레임워크는 릿지 정규화 선형 회귀, 조건부 확산 모델, 자기회귀(autoregressive) 언어 모델, 멀티모달 모델에 대해 구현된다. 이러한 구현은 동일한 원리가 예측 격차, 이미지 임베딩 발산, 토큰 분포 또는 엔트로피 변화, 교차 모달 표현 변화를 통해 어떻게 평가될 수 있는지 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.