Improving the Variance of Differentially Private Randomized Experiments through Clustering
원문 초록
Estimating causal effects from randomized experiments is only possible if participants are willing to disclose their potentially sensitive responses. Differential privacy, a widely used framework for ensuring an algorithms privacy guarantees, can encourage participants to share their responses without the risk of de-anonymization. However, many mechanisms achieve differential privacy by adding noise to the original dataset, which reduces the precision of causal effect estimation. This introduces a fundamental trade-off between privacy and variance when performing causal analyses on differentially private data. In this work, we propose a new differentially private mechanism, "Cluster-DP", which leverages a given cluster structure in the data to improve the privacy-variance trade-off. While our results apply to any clustering, we demonstrate that selecting higher-quality clusters, according to a quality metric we introduce, can decrease the variance penalty without compromising privacy guarantees. Finally, we evaluate the theoretical and empirical performance of our Cluster-DP algorithm on both real and simulated data, comparing it to common baselines, including two special cases of our algorithm: its unclustered version and a uniform-prior version.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
온라인 추천을 위한 확률적 잔차 학습
Probabilistic Residual Learning for Online Recommendations
현대 추천 시스템은 일반적으로 심층 학습(DL) 모델을 기반으로 하며, 밀집 인코더(dense encoder)가 사용자와 아이템의 표현(representation)을 학습한다. 그 결과 이러한 시스템은 기반 모델의 블랙박스 특성과 계산 복잡성으로 인해 추천 성능을 체계적으로 향상시키기 어려운 경우가 많다. 이 문제를 해결하기 위해, 우리는 Probabilistic Residual Learning(PRL)을 제안한다. 이는 실제값(ground-truth)과 기본 예측(base prediction) 사이의 잔차(residual)를 모델링하여 기존 시스템의 목표 지향적 정제(refinement)를 가능하게 하는 인과적 베이지안 추천 모델이다. 구체적으로 PRL은 (1) 국소적 잔차 모델링을 위해 사용자를 확률적으로 그룹화하고, (2) 사용자 및 아이템 표현에 영향을 미치는 도메인 수준 교란 변수(domain-level confounder)를 모델링하며, (3) do-calculus를 사용하여 교란 변수에 대한 클러스터별 잔차 예측을 집계한다. 실험 결과, 플러그앤플레이(plug-and-play) 방식의 PRL이 다양한 기본 심층 학습 추천 시스템과 호환되며 성능을 향상시키는 동시에 의미 있는 사용자 클러스터를 자동으로 발견함을 보여준다.
CASC: 다변량 시공간 데이터를 위한 인과적 적대적 부분공간 클러스터링
CASC: Causal Adversarial Subspace Clustering for Multivariate Spatiotemporal Data
깊은 부분공간 클러스터링(deep subspace clustering)은 해빙 모니터링, 질병 확산 분석, 시간에 따른 신경 퇴행 추적 등 다변량 시공간 데이터를 다루는 응용에서 중요한 역할을 한다. 최근의 발전에도 불구하고, 기존 방법은 주로 기하학적 자기표현성(self-expressiveness)에 의존하며 정적인 부분공간 구조를 가정하고, 복잡한 시공간 시스템에 내재된 인과적 의존성, 국소적 공간 상호작용, 장거리 시간 역학을 포착하지 못하는 경우가 많다. 이러한 한계를 해결하기 위해, 고차원 시공간 데이터에서 진화하는 잠재 체제(latent regime)를 발견하기 위한 새로운 인과적 적대적 부분공간 클러스터링(CASC) 프레임워크를 제안한다. CASC는 공간 및 시간 구조를 보존하면서 강건한 잠재 표현을 학습하기 위해 U-Net에서 영감을 받은 깊은 적대적 클러스터링 아키텍처와 적층 FAConvLSTM 레이어를 통합한다. 국소적 공간 관계, 전역적 의존성, 장거리 시간 상호작용을 공동으로 모델링하기 위해 그래프 어텐션 트랜스포머 기반 자기표현 네트워크를 도입한다. 또한 두 가지 새로운 학습 목표를 제안한다: (1) 자기표현 계수를 잠재 인과 관계와 정렬하여 클러스터가 단순한 특징 유사성이 아닌 근본적인 인과 과정을 반영하도록 유도하는 인과적 부분공간 보존 손실(Causal Subspace Preservation Loss), (2) 비정상(nonstationary) 환경에서 진화하는 부분공간 구조와 시간적 체제 전환을 포착하는 동적 시간 부분공간 진화 손실(Dynamic Temporal Subspace Evolution Loss). 이러한 구성 요소들은 함께 깊은 부분공간 클러스터링을 상관관계 중심 패러다임에서 인과-시간 체제 발견 프레임워크로 전환한다.
인과 모델과 계층적 클러스터링에 기반한 공립학교 교육 성과 분석
Analysis of Public Schools Educational Performance Based on Causal Models and Hierarchical Clustering
대규모 교육 데이터셋(dataset)의 가용성 증가로 학교 성과를 조사하기 위한 정량적 방법의 사용이 확대되고 있다. 그러나 학교 간 기관적 이질성과 교육 데이터의 구조적 복잡성은 전통적인 통계 모델링 접근법에 상당한 어려움을 제기한다. 본 연구는 구조적·교육학적·인구통계학적 특성에 기반한 학교 유형(typology)의 존재를 조사하고, 이러한 유형이 브라질 기초교육 평가 시스템(Brazilian Basic Education Assessment System, Saeb) 성과와 어떻게 관련되는지 검토한다. 브라질 학교 인구조사(Brazilian School Census)와 Saeb 데이터를 사용하여 데이터 전처리 및 정규화 절차를 적용한 뒤, 계층적 클러스터링(hierarchical clustering)을 통해 유사한 구조적 프로필을 갖는 학교 집단을 식별한다. 이러한 유형을 식별한 후, 인과 분석(causal analysis) 기법을 활용하여 학교 특성과 교육 성과 간의 잠재적 인과 관계를 조사한다. 결과는 서로 구별되는 학교 프로필의 존재와 그들 간 평균 성과의 통계적으로 유의한 차이를 보여준다. 인과 분석은 교육 성과에 영향을 미칠 수 있는 구조적·맥락적 요인에 대한 통찰을 제공하며, 학교 효과성(school effectiveness)과 관련된 메커니즘에 대한 이해를 심화하는 데 기여한다.
이질적 중도절단 데이터에 대한 강건한 부분군 분석
Robust Subgroup Analysis for Heterogeneous Censored Data
부분군 분석(subgroup analysis)은 실제로 중요한데, 현실 데이터는 일반적으로 이질적 모집단에서 수집되며 의미 있는 패턴이 부분 모집단에 따라 상당히 다를 수 있기 때문이다. 이러한 부분군을 올바르게 식별하면 예측 정확도를 향상시키고, 편향되거나 오해를 유발하는 결론을 방지하며, 보다 효과적이고 표적화된 의사결정을 지원할 수 있다. 기존의 대부분의 부분군 분석 방법이 완전한 데이터를 대상으로 개발된 반면, 본 논문에서는 이질적 가속 실패 시간(AFT, accelerated failure time) 모델 하의 중도절단 데이터(censored data)에 대한 새롭고 강건한 접근법을 제안한다. 구체적으로, 역확률 가중(inverse probability weighting), M-추정(M-estimation), 오목 쌍별 융합 페널화(concave pairwise fusion penalization)를 결합하여, 개별 부분군 소속에 대한 사전 지식 없이도 이질적 중도절단 데이터의 부분군을 동시에 식별하고 공변량 효과를 추정한다. 또한 이 방법을 구현하기 위한 효율적인 RISA-ADMM 알고리즘을 개발하고 그 수렴(convergence)을 증명한다. 나아가, 완화된 정칙성 조건 하에서 제안된 추정량의 이론적 성질을 도출한다. 광범위한 시뮬레이션과 German credit 데이터셋에 대한 적용을 통해 제안된 방법의 강건성과 효과성을 입증한다.
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.