한국어 초록
우리는 각 데이터 샘플이 공개된 민감하지 않은 특징을 포함하는 설정에서 차등 비공개(DP) 회귀를 연구합니다. 이는 추천 및 광고 시스템과 같은 응용 분야에서 흔히 볼 수 있습니다. 이러한 레이블-DP 또는 부분적으로 민감한 특징 설정은 주로 분류 맥락에서 탐구되었으나, 회귀를 위한 효과적인 접근 방식은 여전히 덜 연구되었습니다. 우리는 프라이버시 제약 조건 하에서 최적화를 개선하기 위해 공개 특징 행렬의 구조를 활용하는 DPSGD의 조건화된 변형인 Cond-DP를 제안합니다. 이러한 공개 특징들이 종종 급격히 감소하는 스펙트럼을 보인다는 관찰에서 동기를 얻어, Cond-DP는 최적화 지형을 재구성하고 수렴을 가속화하기 위해 데이터 기반 조건화 행렬을 통합합니다. 우리는 볼록, 강볼록, 비볼록 설정에 대한 수렴 보장을 제공하며, 조건화 행렬이 단위 행렬일 때 표준 DPSGD를 특수한 경우로 회복함을 보입니다. 우리는 공개 특징에서 직접 Cond-DP를 위한 효과적인 조건화 행렬을 구성하는 방법을 보여주며, 이를 통해 추가적인 프라이버시 비용 없이 비공개 선형 회귀에서 DPSGD보다 증명 가능하게 더 빠른 수렴을 가능하게 합니다. 실험적으로, 이 조건화 행렬을 사용한 Cond-DP는 레이블-DP 하에서 다양한 데이터셋과 모델 아키텍처에 걸쳐 최신 수준(SOTA) 기준선을 일관되게 능가하며, 실제로 강력하고 견고한 성능을 입증합니다.
원문 초록
We study differentially private (DP) regression in settings where each data sample includes public, non-sensitive features -- common in applications such as recommendation and advertising systems. While such label-DP or semi-sensitive-feature settings have been primarily explored in the context of classification, effective approaches for regression remain underexplored. We introduce Cond-DP, a conditioned variant of DPSGD that leverages the structure of public feature matrices to improve optimization under privacy constraints. Motivated by the observation that these public features often exhibit rapidly decaying spectra, Cond-DP incorporates a data-driven conditioning matrix to reshape the optimization landscape and accelerate convergence. We provide convergence guarantees for convex, strongly convex, and non-convex settings, and recover standard DPSGD as a special case when the conditioning matrix is the identity. We show how to construct an effective conditioning matrix for Cond-DP directly from public features, enabling provably faster convergence than DPSGD in private linear regression without incurring additional privacy cost. Empirically, Cond-DP with this conditioning matrix consistently outperforms state-of-the-art baselines across a wide range of datasets and model architectures under label DP, demonstrating strong and robust performance in practice.
요약
공개 특징과 민감한 레이블이 함께 있는 차등 비공개(DP) 회귀에서, 공개 특징 행렬의 구조를 활용하는 DPSGD 변형 Cond-DP를 제안하고 데이터 기반 조건화 행렬로 최적화 지형을 재구성해 수렴을 가속한다. 추가 프라이버시 비용 없이 비공개 선형 회귀에서 DPSGD보다 빠른 수렴을 이론적으로 보장하며, 레이블-DP 하에서 다양한 데이터셋과 모델에서 최신 기준선을 일관되게 능가한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18773v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습
FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints
디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.
노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화
Private Decentralized Optimization with Noise Reduction and Bias Correction
프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.
Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류
Et Tu, Brute? Economic Misalignment in Personal AI Agents
개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.
블랙박스 최적화에서 대리 모델로서의 인공 신경망
Artificial Neural Networks as Surrogate Models in Black Box Optimization
블랙박스 최적화(Black-Box Optimization, BBO)는 여러 공학 분야에서 흔히 적용되며, 수치 측정 및 시뮬레이션 기술의 발전을 활용할 수 있다. 이는 해석적 기술(analytical description)이 존재하지 않는 최적화 함수를 다룬다. 이 방법은 탐색 공간 내의 입력점과, 센서, 실험, 시뮬레이션 등 비해석적 수단을 통해 얻어진 해당 목적 함수 값의 쌍만을 필요로 하는 방법에 의존한다. 일반적인 접근법으로는 진화적 최적화(evolutionary optimization)와 기타 메타휴리스틱(metaheuristics)이 있다. BBO 방법은 목적 함수 값에만 의존하기 때문에 일반적으로 많은 평가(evaluation)를 필요로 하며, 이는 목적 함수를 평가하는 데 시간이 많이 걸리거나 비용이 많이 드는 경우 문제가 된다. 이로 인해 선택된 실제 목적값을 평가하고 탐색 공간 전체에 걸쳐 목적 함수를 근사하는 회귀 모델을 학습시키는 대리 기반 최적화(surrogate-based optimization)를 사용하게 된다. 대리 모델 지원 블랙박스 최적화는 소량 데이터 학습(small-data learning) 문제인데, 이는 옵티마이저가 제한된 평가로부터 비용이 큰 목적 함수를 근사해야 하기 때문이다. 대리 모델은 데이터 효율적인 회귀자(regressor) 역할을 하며, 제한된 평가 예산(evaluation budget) 하에서 유망하거나 정보성이 높은 지점으로 탐색을 유도한다. 본 논문에서는 목적 함수의 선택적 평가를 위해 인공 신경망을 사용하는 새로운 대리 모델인 적응적 충실도 넥서스 공분산 행렬 적응 진화 전략(Adaptive-Fidelity Nexus Covariance Matrix Adaptation Evolution Strategy, AFN-CMA-ES)을 제안한다. 실험 결과는 최신(state-of-the-art) 대리 모델 지원 BBO 방법들과 비교하여 경쟁력 있는 성능을 보여준다.
하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.
Improving Rating Prediction in Multi-Criteria Recommender Systems via a Collective Factor Model
토론
이 논문과 연결된 포럼 글이 아직 없습니다.