arXiv:2605.10680v2 cs.LG

프록시 기반 언러닝을 위한 행동적 보장

Behavioral Guarantees for Proxy-Based Unlearning

Virgile Dine, Teddy Furon

제출 2026-05-11

한국어 초록

본 논문에서는 최근의 프록시 기반 언러닝(unlearning) 방법들을 일반화하는 프레임워크를 제안하고, 언러닝된 결과 모델의 행동에 대한 이론적 보장, 즉 보존 데이터(retain data)의 이상적인 사후 분포와의 쿨백-라이블러 발산(Kullback-Leibler divergence)에 대한 상한을 증명합니다. 저자들은 근사 언러닝을 제약 최적화(constrained optimization) 문제로 모델링하고, 해의 집합을 출력 공간에서 스케일링된 언러닝 신호를 도입하는 것으로 해석합니다. 언러닝 신호는 데이터 사후 분포의 프록시로부터 발생합니다. 행동 상한을 보장하기 위해 그 스케일은 프록시에 맞춰 조정됩니다. 이 프레임워크는 프록시를 생성하기 위해 데이터 분포의 구조에 의존합니다. 필요한 경우, 타깃은 가중치 업데이트를 증류하기 위한 교사(teacher) 역할을 수행합니다. 제안하는 접근법은 두 가지 망각 시나리오에서 처음부터 다시 학습(retrained from scratch)된 모델에 가장 근접한 분류기에 도달함을 실험적으로 검증합니다.

원문 초록

This paper proposes a framework generalizing recent proxy-based unlearning methods and proves theoretical guarantees about the behavior of the resulting unlearned model: upper bounds on its Kullback-Leibler divergence to the ideal posterior distribution of the retain data. We model approximate unlearning as a constrained optimization problem and interpret a family of solutions as introducing a scaled unlearning signal in the output space. The unlearning signal arises from proxies of the posterior data distributions. Its scale is adapted to the proxies to ensure the behavioral upper bounds. This framework relies on the structure of the data distributions in order to create proxies. If need be, the target serves as a teacher to distill the update in the weights. Our approach is experimentally validated over two forgetting scenarios as reaching the closest classifier to the model retrained from scratch.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.10680v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.21677v2cs.AI공통 태그 Privacy Preserving, Knowledge Distillation, Machine Unlearning

GUARD: Guided Answer-Reasoning Distillation을 통한 대규모 추론 모델의 자연스러운 망각

GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation

최근 대규모 추론 모델(LRM)의 발전으로 머신 언러닝(machine unlearning)이 더욱 어려워졌는데, 이는 최종 답이 나오기 전 중간 사고의 연쇄(CoT) 경로에서 보호 대상 사실이나 안전하지 않은 근거가 드러날 수 있기 때문이다. 기존 언러닝 목적 함수는 대개 타깃 콘텐츠를 억제하거나 내부 표현을 재지향하지만, 망각 이후 궤적이 어떻게 이어져야 하는지는 명시하지 않아 환각(hallucination)에 기반한 대체물, 비정상적인 경계, 또는 반복적인 출력을 낳을 수 있다. 우리는 LRM 언러닝이 원래의 공개를 대체하는 일관된 비공개 CoT와 이에 이어지는 안정적인 거절 형태의 답변으로 이루어진 자연스러운 망각 궤적을 학습해야 한다고 주장한다. 이를 위해 모델이 생성한 안전하지 않은 공개를 안전한 종료(safe-exit) 궤적으로 바꾸고, 안내 토큰(guidance token)으로 동결된 LRM을 정렬(alignment)한 뒤, 이렇게 유도된 행동을 모델 파라미터로 증류(distillation)하는 GUARD(Guided Answer-Reasoning Distillation)를 제안한다. 유출 여부를 넘어 대체 품질을 재는 지표가 부족한 문제를 위해, 망각된 출력의 구조적 안정성, 유창성, 근거 없는 대체물을 반영하는 NFRS(Natural Forgetting Reasoning Score)를 도입한다. R-TOFU와 STAR-1 기반 유해 의도 설정에 대한 광범위한 실험에서 GUARD는 널리 쓰이는 두 증류 LRM에서 안전하지 않은 공개와 개인정보 유출을 크게 줄이면서 추론 유용성을 유지함을 보인다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving, Machine Unlearning

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.02268v1cs.LG공통 태그 Privacy Preserving, Machine Unlearning

머신 언러닝을 위한 수학적 인증서에서 실행 가능한 인증서로

From Mathematical to Executable Certificates for Machine Unlearning

머신 언러닝(Machine Unlearning)은 삭제 요청, 오래된 기록, 또는 데이터 품질 문제로 인해 데이터를 제거해야 할 때 필요하지만, 처음부터 다시 학습시키는 것은 비용이 많이 들 수 있다. 인증된 머신 언러닝 방법은 수학적 보장을 제공하지만, 실제 배포되는 시스템은 소프트웨어가 생성한 구체적인 유한 정밀도 산출물을 릴리스한다. 수학적 보장과 실제 배포 사이의 간극을 메우기 위해, 우리는 릴리스 시점에서 릴리스 대상으로 고려되는 후보 산출물을 인증하는 층인 실행 가능 릴리스 인증(Executable Release Certification, ExecCert)을 제안한다. ExecCert는 실행된 후보에 대해 해당 방법의 고유 인증서를 완결짓거나, 현재의 보존 집합(retain-set) 재학습에 대한 충실도를 인증하기 위해 재학습-참조 릴리스 검증(Retraining-Reference Release Verification, RRV)을 적용한다. 순차적 삭제는 정확한 보존 집합 참조와 저장된 수치 상태가 서로 별개로 변화하기 때문에 후자를 간단하지 않게 만든다. 고정된 표현에 가변적인 릿지 헤드(ridge head)를 사용하는 경우에 대해, 우리는 매 릴리스마다 다시 구성하는 대신 삭제 요청 전반에 걸쳐 인증된 근거를 유지하는 RRV의 증분적 구현 방식을 개발한다. 공개된 4개의 언러닝 구현에 대해, ExecCert는 유효한 인증서를 보존하고, 릴리스 결정을 변경하며, 보수적인 경계를 더 조이고, 구체적인 출력으로 뒷받침되는 재학습-참조 충실도를 식별한다. 순차적 서비스 실험에서, RRV는 저장된 수식 기반 검증으로 인한 거짓 릴리스를 제거하면서도 실제 발생한 오차를 밀접하게 추적하며, 증분 인증은 릴리스 점검이 충분히 빈번해지면 매번 새로 계산하는 방식과 유지 관리되는 검증된 인수(verified-factor) 대안 방식 모두보다 비용이 더 저렴하게 유지된다.

arXiv:2609.27067v1cs.LG공통 태그 Bayesian Inference, Knowledge Distillation

ChipMEM: EDA 에이전트를 위한 검증 기반 메모리

ChipMEM: Verification-Grounded Memory for EDA Agents

대규모 언어 모델(LLM) 기반 에이전트는 합성 및 검증 피드백 하에서 레지스터 전송 수준(RTL) 설계를 생성·수정하기 위해 전자 설계 자동화(EDA) 도구를 사용한다. 최근 방법들은 실행 추적에서 재사용 가능한 스킬을 지식 증류(distillation)하거나 EDA 도구에서 파생된 보상으로 학습하여 이 피드백으로부터 학습한다. 두 방법 모두 일반적으로 해당 경험을 생성한 태스크에서 평가된다. 동일 태스크에 대한 벤치마크 피드백에 반복적으로 접근하면 전이 가능한 재사용 지식을 만드는 것보다 태스크 특화 수정을 보상할 수 있다. 우리는 EDA 에이전트를 위한 검증 기반 메모리 층인 ChipMEM을 제안한다. ChipMEM은 태스크 간 절차적 메모리와 궤적 내 통계적 안내를 결합한다. 절차적 구성요소는 모델 자기 평가에 의존하지 않고, 합성·시뮬레이션 또는 형식(formal) 검사를 통과한 뒤에만 스킬을 증류하여 저장한다. 베이지안 구성요소는 도구 호출 결과에 대한 계층적 Beta 추정을 유지하고, 유사한 오류 조건에서 성공한 복구 전략을 순위화한다. 공통 어댑터는 각 도메인의 도구와 수용 기준을 보존하면서 동일한 메모리 인터페이스를 RTL 최적화 및 테스트벤치 생성 에이전트에 적용한다. 우리는 학습 태스크에서 성능을 측정하고, 학습된 스킬이 보지 못한 태스크로 전이되는지 평가한다. RTLRewriter-Bench에서 일치하는 모델·도구 설정 하에 ChipMEM은 메모리 없을 때 35/54 대비 채점된 54개 설계 중 39개에서 동등성 통과 출력을 낸다. 49개 설계 단축 스위트에서는 평균 면적(area) 개선이 5.66% 대비 8.69%이다. 보류(hold-out) CVDP 태스크에서 고정(frozen) 절차적 라이브러리를 사용한 ChipMEM은 설정당 단일 평가에서 메모리 없을 때 18/20 대비 20/20의 수용 결과를 달성한다.

arXiv:2609.27355v1cs.LG공통 태그 Privacy Preserving, Machine Unlearning

유지-망각 손실 지형 상호작용 관점을 통한 양자화 견고한 언러닝

Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction

언러닝(unlearning)은 개인정보 또는 저작권이 있는 학습(training) 데이터의 영향을 제거하여 대규모 언어 모델(LLM)의 규정 준수를 보장합니다. 그러나 실제 배포 환경에서 LLM 모델(model)은 일반적으로 양자화(quantization)와 같은 사후 학습(post-training) 압축을 거치기 때문에 언러닝 효과가 상당히 약화될 수 있으며, 모델 유용성보다 망각 동작이 더 심각하게 저하되는 현상이 관찰되었습니다. 본 논문에서는 전반적인 모델 유용성을 유지하면서 망각이 양자화에 견고하도록 만드는 양자화 견고한 언러닝 프레임워크를 제안합니다. 우리는 이러한 격차를 손실(loss) 지형의 관점에서 분석합니다. 구체적으로, 우리의 분석은 견고하지 못한 망각과 유용성 감소를 모두 초래하는 언러닝된 모델 내의 민감한 가중치를 정확히 찾아내는 곡률 기반 기준을 밝혀냅니다. 이에 따라 우리는 민감한 파라미터에 적용되어 모델 수렴(convergence)을 망각 및 유지 손실이 균일하게 낮은 더 매끄러운 극솟값으로 유도하는 민감도 유도 노이즈 정규화(regularization)를 제안합니다. 언러닝과 유용성의 균형을 맞추기 위해, 유용한 지식을 유지하도록 네트워크 대부분을 보존하면서 망각에 중요한 레이어만을 업데이트하는 망각 중요 최적화를 추가로 제안합니다. 여러 LLM 언러닝 알고리즘에 걸쳐 MUSE 및 TOFU 벤치마크에서 수행한 광범위한 실험은 본 접근 방식이 유용성을 유지하면서도 훨씬 더 양자화 탄력적인 망각을 달성함을 보여줍니다.

arXiv:2609.28378v1cs.RO공통 태그 Privacy Preserving, Machine Unlearning

ForgetMimic: 강화학습 휴머노이드 제어를 위한 모션 언러닝

ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control

인간 시연을 활용한 휴머노이드 제어는 강화학습(RL)을 통해 다양하고 민첩하며 자연스러운 이동(locomotion) 행동을 달성해 왔다. 이 패러다임이 물리 세계 휴머노이드 제어에서 뛰어난 성능을 보여 주었지만, 학습된 정책에서 특정 동작을 제거하는 방법은 여전히 충분히 탐구되지 않았다. 이 문제를 다루는 동기는 긴급한 안전성 및 프라이버시 우려에서 비롯된다. 악의적이거나 오염된, 또는 차선의 동작뿐 아니라 GDPR과 같은 규정에 따른 잊혀질 권리(right to be forgotten)의 대상이 되는 저작권 보호 동작을 제거하는 것은 매우 중요하다. 이를 위해 우리는 물리 세계 휴머노이드 제어를 위해 특별히 설계된 최초의 모션 수준 언러닝 방법인 ForgetMimic을 제안한다. ForgetMimic의 핵심 아이디어는 다음과 같다. $N$개의 동작으로 학습된 정책 $\pi_\theta$가 주어졌을 때, 우리 방법은 목표 부분집합인 $K$개 동작에 대한 성능을 저하시키면서 나머지 $N-K$개 동작의 효과는 유지한다. 또한 우리는 로봇 제어에서 언러닝 실패로 이어지는 두 가지 핵심 학습 메커니즘을 식별하고 해결한다. Unitree G1 및 H2 휴머노이드 로봇에서 Dance, Fight, Flip 등 12가지 동작에 걸쳐 광범위한 실험을 수행했다. 실험 결과는 ForgetMimic이 지정된 동작에 대한 기억을 효과적으로 제거하면서 다른 모든 동작의 정상 동작을 유지함을 보여 준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.