arXiv:2607.05898v1 cs.LG

Auditing of Unlearning Algorithms

Sahasrajit Sarmasarkar, Anastasia Koloskova, Sanmi Koyejo

제출 2026-07-07

원문 초록

Evaluating whether unlearning algorithms truly remove training data influence remains an open challenge. We propose a practical auditor that computes data-dependent lower bounds on the unlearning parameter $\varepsilon$ using membership inference attacks. Evaluating multiple unlearning algorithms, we find a sharp separation: algorithms with rigorous guarantees, such as model clipping and rewind-to-delete, achieve very small $\varepsilon$ bounds that do not falsify their unlearning guarantees, whereas empirical methods such as Hessian-based unlearning, interleaved ascent-descent, ascent on the forget set, and fine-tuning on the retain set exhibit large bounds, indicating poor unlearning. Our auditor provides a practical tool for empirically falsifying unlearning claims through a hypothesis-testing framework, and we validate it on CIFAR-100 and Shakespeare text.

요약

머신 언러닝(machine unlearning) 알고리즘이 학습 데이터의 영향을 실제로 제거하는지 검증하기 위해, 멤버십 추론 공격(membership inference attack)을 활용하여 언러닝 파라미터 $\varepsilon$의 데이터 의존적 하한을 계산하는 실용적인 감사(auditor) 기법을 제안한다. CIFAR-100과 Shakespeare 데이터셋 실험에서 model clipping, rewind-to-delete 등 이론적 보장이 있는 알고리즘은 매우 작은 $\varepsilon$ 하한을 보인 반면, Hessian 기반 언러닝 및 retain set 파인튜닝 등 경험적 방법들은 50~60을 초과하는 큰 하한값을 나타내어 언러닝이 제대로 이루어지지 않음을 실증적으로 드러냈다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05898v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving, Machine Unlearning

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.13631v1cs.LG공통 태그 Privacy Preserving, differential privacy

프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류

Private and Distributionally Robust Federated Multiclass Classification

자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.

arXiv:2610.13768v1stat.ML공통 태그 Privacy Preserving, differential privacy

픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크

From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds

공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.

arXiv:2610.10616v1cs.LG공통 태그 Privacy Preserving, membership inference

라우팅이 멤버십을 드러낼 때: MoE 라우터 텔레메트리로 인한 프라이버시 누출

When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry

전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.

arXiv:2610.02268v1cs.LG공통 태그 Privacy Preserving, Machine Unlearning

머신 언러닝을 위한 수학적 인증서에서 실행 가능한 인증서로

From Mathematical to Executable Certificates for Machine Unlearning

머신 언러닝(Machine Unlearning)은 삭제 요청, 오래된 기록, 또는 데이터 품질 문제로 인해 데이터를 제거해야 할 때 필요하지만, 처음부터 다시 학습시키는 것은 비용이 많이 들 수 있다. 인증된 머신 언러닝 방법은 수학적 보장을 제공하지만, 실제 배포되는 시스템은 소프트웨어가 생성한 구체적인 유한 정밀도 산출물을 릴리스한다. 수학적 보장과 실제 배포 사이의 간극을 메우기 위해, 우리는 릴리스 시점에서 릴리스 대상으로 고려되는 후보 산출물을 인증하는 층인 실행 가능 릴리스 인증(Executable Release Certification, ExecCert)을 제안한다. ExecCert는 실행된 후보에 대해 해당 방법의 고유 인증서를 완결짓거나, 현재의 보존 집합(retain-set) 재학습에 대한 충실도를 인증하기 위해 재학습-참조 릴리스 검증(Retraining-Reference Release Verification, RRV)을 적용한다. 순차적 삭제는 정확한 보존 집합 참조와 저장된 수치 상태가 서로 별개로 변화하기 때문에 후자를 간단하지 않게 만든다. 고정된 표현에 가변적인 릿지 헤드(ridge head)를 사용하는 경우에 대해, 우리는 매 릴리스마다 다시 구성하는 대신 삭제 요청 전반에 걸쳐 인증된 근거를 유지하는 RRV의 증분적 구현 방식을 개발한다. 공개된 4개의 언러닝 구현에 대해, ExecCert는 유효한 인증서를 보존하고, 릴리스 결정을 변경하며, 보수적인 경계를 더 조이고, 구체적인 출력으로 뒷받침되는 재학습-참조 충실도를 식별한다. 순차적 서비스 실험에서, RRV는 저장된 수식 기반 검증으로 인한 거짓 릴리스를 제거하면서도 실제 발생한 오차를 밀접하게 추적하며, 증분 인증은 릴리스 점검이 충분히 빈번해지면 매번 새로 계산하는 방식과 유지 관리되는 검증된 인수(verified-factor) 대안 방식 모두보다 비용이 더 저렴하게 유지된다.

arXiv:2610.02504v1cs.AI공통 태그 Privacy Preserving, differential privacy

HXAI: 분산 에너지 시스템에서의 계층적 프라이버시 보호 설명 가능한 AI

HXAI: Hierarchical Privacy-Preserving Explainable AI in Distributed Energy Systems

재생 에너지 발전의 내재적인 간헐성과 확률적인 전력 소비로 인해 전력 수요와 공급의 균형을 맞추는 것이 점점 더 어려워지고 있습니다. 전력망 운영자는 피크 부하를 관리하고 대응형 요금제를 설계하기 위해 가구별 에너지 소비에 대한 세밀하고 의사결정에 유의미한 통찰을 필요로 하지만, 이 수준에서 투명성이 높아지면 심각한 프라이버시 문제가 발생합니다. 설명 가능한 AI(XAI)의 전통적인 방법들은 민감한 정보를 노출할 수 있는 반면, 표준적인 프라이버시 기법들은 설명의 유용성을 저하시키는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 프라이버시를 보호하면서도 전력망 수준의 수요 관리를 위한 합리적인 설명 가능 분석을 가능하게 하는 계층적 프레임워크인 HXAI를 제안합니다. HXAI는 두 가지 주요 구성 요소로 이루어져 있습니다: (1) 안전한 비공개 환경(environment) 내에서 세밀한 설명을 생성하는 로컬 모델(model), (2) 이러한 설명을 집계하여 전력망 수준의 분석을 지원하는 동시에 유연한 프라이버시 예산 관리를 통해 프라이버시를 보장하는 구역(zonal) 모델. 우리는 운영자의 반복적인 쿼리 하에서 누적 프라이버시 노출을 명시적으로 제한하며, 제안된 프레임워크가 가구의 프라이버시를 침해하지 않으면서도 의사결정에 유의미한 정보를 보존함을 보여줍니다. 시뮬레이션 및 실제 에너지 데이터셋 모두에 대한 실험을 통해, HXAI가 가전제품 수준의 소비 정보는 로컬에 유지되어 전력망 운영자에게 결코 전송되지 않도록 보장하면서도 구역 부하 관리를 위한 유용한 통찰을 제공함을 입증합니다. 우리의 결과는 수치적 오차를 최소화하는 것보다 설명의 의미론적 구조를 보존하는 것이 차분 프라이버시(differential privacy) 하에서 XAI의 핵심임을 보여줍니다. 이 프레임워크는 에너지 관리에서 프라이버시와 설명 가능성을 모두 달성할 수 있는 방법을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.