arXiv:2503.02968

Privacy-Preserving Fair Synthetic Tabular Data

Fatima J. Sarmin, Atiquer R. Rahman, Christopher J. Henry, Noman Mohammed

제출 2025-03-04

원문 초록

Sharing of tabular data containing valuable but private information is limited due to legal and ethical issues. Synthetic data could be an alternative solution to this sharing problem, as it is artificially generated by machine learning algorithms and tries to capture the underlying data distribution. However, machine learning models are not free from memorization and may introduce biases, as they rely on training data. Producing synthetic data that preserves privacy and fairness while maintaining utility close to the real data is a challenging task. This research simultaneously addresses both the privacy and fairness aspects of synthetic data, an area not explored by other studies. In this work, we present PF-WGAN, a privacy-preserving, fair synthetic tabular data generator based on the WGAN-GP model. We have modified the original WGAN-GP by adding privacy and fairness constraints forcing it to produce privacy-preserving fair data. This approach will enable the publication of datasets that protect individual's privacy and remain unbiased toward any particular group. We compared the results with three state-of-the-art synthetic data generator models in terms of utility, privacy, and fairness across four different datasets. We found that the proposed model exhibits a more balanced trade-off among utility, privacy, and fairness.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02418v2cs.CR공통 태그 Memorization, Privacy Preserving

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2609.22601v1cs.ET공통 태그 Fairness, Privacy Preserving

AI 에이전트를 위한 공정 보상 분산 정보 검색 및 증강

Fairly Compensated Distributed Information Retrieval and Augmentation for AI Agents

자율 AI 에이전트가 외부 및 분산 지식 소스에 점점 더 의존하면서, 탈중앙화 정보 마켓플레이스에는 근본적인 난제가 생긴다. 검색 에이전트는 구매 전에 데이터의 품질과 관련성을 평가해야 하지만, 데이터 제공자는 보장된 보상이 이루어지기 전에는 가치 있는 정보를 노출하지 않아야 한다. 이 역설은 중앙화된 중개자가 당사자 간 공정성을 강제할 수 없는 신뢰 불필요(trustless) 다중 에이전트 환경에서 특히 중요해진다. 본 논문에서는 자율 에이전트 네트워크에서 분산 정보 검색 및 증강을 위한 공정 보상 프로토콜을 제안한다. 우리 프레임워크는 검색 에이전트가 후보 문서의 평문 내용을 알지 못한 채 안전하게 평가하고 순위를 매길 수 있게 하며, 데이터 제공자는 유효한 정보가 성공적으로 전달된 경우에만 보상받도록 보장한다. 또한 악의적 적대자에 대한 프로토콜의 보안 특성을 분석하고, 구현을 통해 실용적 타당성을 평가한다. 실험 결과는 제안 설계가 기밀성, 정확성, 무결성, 공정성을 유지하면서 현재 암호학 인프라에서 실용적임을 보여준다. 이러한 메커니즘이 미래 AI 에이전트 생태계를 위한 신뢰할 수 있고 경제적으로 지속 가능한 탈중앙화 지식 마켓플레이스의 중요한 암호학적 기반을 제공한다고 본다.

arXiv:2609.24927v1cs.AI공통 태그 Fairness, Privacy Preserving

Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류

Et Tu, Brute? Economic Misalignment in Personal AI Agents

개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.

arXiv:2607.21647v1cs.LG공통 태그 Fairness, Privacy Preserving

지능형 서비스를 위한 드리프트 안정 양자 연합 학습

A Drift Stable Quantum Federated Learning for Intelligent Services

양자 연합 학습(quantum federated learning)은 분산 클라이언트가 로컬 데이터를 공유하지 않고 양자 신경망(quantum neural networks)을 학습할 수 있게 하며, 이는 프라이버시를 고려한 지능형 서비스에 유망한 접근법이다. 이 맥락에서 지능형 서비스는 사기 탐지와 유전체 분류와 같이 프라이버시에 민감한 분산 의사결정 시스템을 가리키며, 여기서는 신뢰할 수 있고 공정한 클라이언트 수준 학습이 집계 모델의 정확도만큼 중요하다. 그러나 이질적인 클라이언트 데이터와 노이즈가 많은 양자 최적화(optimization)는 종종 불안정한 로컬 업데이트, 클라이언트 드리프트(client drift), 그리고 클라이언트 간 불공정한 성능을 야기한다. 본 논문은 deep-unfolded 로컬 최적화에 기반한 드리프트 안정 양자 연합 학습 프레임워크인 DUQFL-Prox를 제안한다. 고정된 로컬 옵티마이저를 사용하는 대신, 각 클라이언트는 적응형 unfolded SPSA 업데이트를 수행하며, proximal term은 로컬 모델을 글로벌 모델에 가깝게 유지한다. 경량 컨트롤러는 집계 후 성능을 개선하기 위해 단계별 최적화 매개변수를 학습한다. 금융 사기 탐지 및 유전체 분류 작업에 대한 실험은 DUQFL-Prox가 표준 QFL(양자 연합 학습) 베이스라인 대비 안정성, 일반화, 클라이언트 공정성을 개선함을 보여준다. 결과는 deep-unfolded 양자 연합 학습이 이질적인 분산 환경에서 더 신뢰할 수 있고 공정한 지능형 서비스를 지원할 수 있음을 시사한다.

arXiv:2607.21839v1cs.CR공통 태그 Fairness, Privacy Preserving

이론상 인증, 실무상 붕괴: 암호학적 모델 인증의 가정 간극

Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification

개인정보 보호형 기계학습 감사 프로토콜은 감사자가 모델의 내부 구조나 학습 데이터를 공개하지 않고도 정확도나 공정성(fairness) 같은 속성을 평가할 수 있게 한다. 이로 인해 의료나 금융과 같은 민감한 분야에 배포된 모델을 감사하는 데 특히 매력적이다. 그러나 이러한 프로토콜이 실제 감사 환경에서 의미를 갖으려면, 그 보장은 감사 중의 행동만을 인증하는 것이 아니라 배포 이후 모델이 어떻게 행동할지를 반영해야 한다. 기존 보안 정의는 종종 이 점을 놓친다. 대부분은 고정된 감사 데이터셋에서만 모델 행동을 인증할 뿐, 동일 분포에서 추출된 다른 데이터셋으로 같은 보장이 일반화되는지는 보장하지 않는다. 본 연구에서 보이듯, 이 간극은 모델 제공자가 학습 데이터를 정교하게 조작하여 보안 영지식 증명(ZKP)에 기반한 많은 암호학적 모델 인증(CMC) 방식을 공격할 수 있게 하며, 그 결과 감사 중에는 양호한 행동을 보이지만 실무에서는 병리적(pathological) 행동을 나타내는 모델이 만들어진다. 예를 들어, 공격자가 감사 데이터셋에서 99% 이상의 정확도를 달성한다고 인증받으면서도 동일 분포의 새로운 샘플에서는 30% 미만의 정확도를 보이는 모델을 만들 수 있음을 실증적으로 보여준다. 이 간극을 해소하기 위해 CMC 프레임워크에 맞춘 엄격한 암호학적 보안 개념을 형식화하고, 일반적인 프로토콜 템플릿을 제안하며, 이것이 해당 요구사항을 만족함을 증명한다. 따라서 본 연구 결과는 기존 접근법에 대한 경고적 증거와 함께, 안전하고 개인정보를 보호하는 ML 감사 프로토콜을 설계하기 위한 건설적 지침을 제공한다.

arXiv:2607.21351v1cs.LG공통 태그 Memorization, Privacy Preserving

어댑터는 몇 비트를 기록할 수 있을까? 파라미터 효율적 미세조정의 용량과 기억화 측정

How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning

LoRA 어댑터는 몇 메가바이트에 불과하지만, 거의 모든 사람이 이를 뒤에 있는 데이터의 기록이 아니라 일종의 능력으로 취급한다. 우리는 그 가정을 검증한다. 압축 기반 기억화(memorization) 분석을 고정 베이스(frozen-base) 설정으로 확장하여, 저랭크(low-rank) 어댑터가 전혀 변경하지 않는 모델에 몇 비트만큼 기록하는지를 직접 측정한다. 그 답은 전체 미세조정보다 작으며, 매개변수 개수로 예측하는 것보다 덜 규칙적이다. 어댑터는 학습 가능한 매개변수당 몇 비트 정도를 저장하며, 이는 전체 모델의 예산에 훨씬 못 미치지만, 그 수치는 어댑터가 얼마나 많은 매개변수를 갖는지보다 어디에 위치하는지에 더 크게 좌우된다. 동일한 매개변수 예산을 어텐션에서 MLP로 옮기면 거의 두 배 가까이 담을 수 있고, 고정 베이스의 구조를 제거하면 용량은 거의 사라진다. Qwen2.5에 대한 현실적인 미세조정에 적용하면, 동일한 측정 도구는 프라이버시 누출이 어댑터가 명목상 갖는 매개변수 수가 아니라 어댑터가 기록하는 비트 수에 따라 증가함을 보여 주며, 지도 미세조정과 강화학습 사이에 뚜렷한 경계를 그어 준다. 지도 미세조정이 그대로 복사해 내려 놓는 비밀은, 검증 가능한 보상으로 학습된 어댑터는 결코 기록하지 않는다. 사후에 공격하는 대신 미세조정이 무엇을 기록하는지 측정하는 것은, 일종의 미신을 설계에 대응할 수 있는 정량으로 바꾼다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.