머신 언러닝을 위한 수학적 인증서에서 실행 가능한 인증서로
From Mathematical to Executable Certificates for Machine Unlearning
한국어 초록
머신 언러닝(Machine Unlearning)은 삭제 요청, 오래된 기록, 또는 데이터 품질 문제로 인해 데이터를 제거해야 할 때 필요하지만, 처음부터 다시 학습시키는 것은 비용이 많이 들 수 있다. 인증된 머신 언러닝 방법은 수학적 보장을 제공하지만, 실제 배포되는 시스템은 소프트웨어가 생성한 구체적인 유한 정밀도 산출물을 릴리스한다. 수학적 보장과 실제 배포 사이의 간극을 메우기 위해, 우리는 릴리스 시점에서 릴리스 대상으로 고려되는 후보 산출물을 인증하는 층인 실행 가능 릴리스 인증(Executable Release Certification, ExecCert)을 제안한다. ExecCert는 실행된 후보에 대해 해당 방법의 고유 인증서를 완결짓거나, 현재의 보존 집합(retain-set) 재학습에 대한 충실도를 인증하기 위해 재학습-참조 릴리스 검증(Retraining-Reference Release Verification, RRV)을 적용한다. 순차적 삭제는 정확한 보존 집합 참조와 저장된 수치 상태가 서로 별개로 변화하기 때문에 후자를 간단하지 않게 만든다. 고정된 표현에 가변적인 릿지 헤드(ridge head)를 사용하는 경우에 대해, 우리는 매 릴리스마다 다시 구성하는 대신 삭제 요청 전반에 걸쳐 인증된 근거를 유지하는 RRV의 증분적 구현 방식을 개발한다. 공개된 4개의 언러닝 구현에 대해, ExecCert는 유효한 인증서를 보존하고, 릴리스 결정을 변경하며, 보수적인 경계를 더 조이고, 구체적인 출력으로 뒷받침되는 재학습-참조 충실도를 식별한다. 순차적 서비스 실험에서, RRV는 저장된 수식 기반 검증으로 인한 거짓 릴리스를 제거하면서도 실제 발생한 오차를 밀접하게 추적하며, 증분 인증은 릴리스 점검이 충분히 빈번해지면 매번 새로 계산하는 방식과 유지 관리되는 검증된 인수(verified-factor) 대안 방식 모두보다 비용이 더 저렴하게 유지된다.
원문 초록
Machine unlearning is needed when data must be removed because of deletion requests, outdated records, or data-quality concerns, while retraining from scratch can be costly. Certified machine unlearning methods provide mathematical guarantees, while deployed systems release concrete finite-precision artifacts produced by software. To bridge the gap between mathematical guarantees and practical deployment, we introduce Executable Release Certification (ExecCert), a release-time layer that certifies the candidate artifact considered for release. ExecCert either closes a method's native certificate for the executed candidate or applies Retraining-Reference Release Verification (RRV) to certify fidelity to current retain-set retraining. Sequential deletion makes the latter nontrivial because the exact retain-set reference and the stored numerical state evolve separately. For frozen representations with a mutable ridge head, we develop an incremental realization of RRV that maintains certified evidence across deletion requests rather than reconstructing it at each release. On four published unlearning implementations, ExecCert preserves valid certificates, changes release decisions, tightens conservative bounds, and identifies the retraining-reference fidelity supported by concrete outputs. In sequential-service experiments, RRV eliminates false releases caused by stored-equation verification while closely tracking realized error, and incremental certification remains cheaper than both fresh and maintained verified-factor alternatives once release checks become sufficiently frequent.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
망각-보존 딜레마: 지속 학습에서의 인증된 언러닝 이론
The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning
기계 언러닝(machine unlearning)은 프라이버시 보호를 위해 학습된 모델에서 특정 데이터의 영향을 제거하는 것을 목표로 한다. 그러나 이는 모델이 동적 데이터셋에서 순차적으로 업데이트되는 지속 학습(CL, continual learning) 환경에서 중요한 도전 과제를 제시한다. 주요 한계는 현재의 인증된 언러닝 알고리즘이 CL 프레임워크에 내재된 복잡하고 누적적인 모델 진화를 고려하지 못한다는 점이다. 본 연구에서는 CL과 기계 언러닝을 연결하는 최초의 이론적 토대를 구축한다. CL의 언러닝 목표를 언러닝 후 초과 위험의 최소화로 공식화하며, 이는 CL 초과 위험과 언러닝 손실로 분해되어 과거 지식 보존과 표적 망각 간의 근본적인 트레이드오프를 특성화한다. 완만한 가정 하에, 먼저 비볼록 모델에서 CL 초과 위험의 상한을 설정한다. 이후 그래디언트 기반과 헤시안 기반의 두 가지 인증된 언러닝 접근법을 CL 프레임워크에 적용한다. 분석 결과, 그래디언트 기반 접근법이 언러닝 손실 최소화에서 헤시안 기반 방법보다 덜 효과적이지만, 언러닝 활성화를 위한 저장 공간 오버헤드가 거의 없다는 뚜렷한 장점을 제공함을 밝힌다. 이 통찰은 저장 비용을 줄이면서 언러닝 후 성능을 유지하는 하이브리드 전략을 동기부여한다. 실험 결과는 우리의 이론적 발견을 추가로 검증한다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
유지-망각 손실 지형 상호작용 관점을 통한 양자화 견고한 언러닝
Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction
언러닝(unlearning)은 개인정보 또는 저작권이 있는 학습(training) 데이터의 영향을 제거하여 대규모 언어 모델(LLM)의 규정 준수를 보장합니다. 그러나 실제 배포 환경에서 LLM 모델(model)은 일반적으로 양자화(quantization)와 같은 사후 학습(post-training) 압축을 거치기 때문에 언러닝 효과가 상당히 약화될 수 있으며, 모델 유용성보다 망각 동작이 더 심각하게 저하되는 현상이 관찰되었습니다. 본 논문에서는 전반적인 모델 유용성을 유지하면서 망각이 양자화에 견고하도록 만드는 양자화 견고한 언러닝 프레임워크를 제안합니다. 우리는 이러한 격차를 손실(loss) 지형의 관점에서 분석합니다. 구체적으로, 우리의 분석은 견고하지 못한 망각과 유용성 감소를 모두 초래하는 언러닝된 모델 내의 민감한 가중치를 정확히 찾아내는 곡률 기반 기준을 밝혀냅니다. 이에 따라 우리는 민감한 파라미터에 적용되어 모델 수렴(convergence)을 망각 및 유지 손실이 균일하게 낮은 더 매끄러운 극솟값으로 유도하는 민감도 유도 노이즈 정규화(regularization)를 제안합니다. 언러닝과 유용성의 균형을 맞추기 위해, 유용한 지식을 유지하도록 네트워크 대부분을 보존하면서 망각에 중요한 레이어만을 업데이트하는 망각 중요 최적화를 추가로 제안합니다. 여러 LLM 언러닝 알고리즘에 걸쳐 MUSE 및 TOFU 벤치마크에서 수행한 광범위한 실험은 본 접근 방식이 유용성을 유지하면서도 훨씬 더 양자화 탄력적인 망각을 달성함을 보여줍니다.
ForgetMimic: 강화학습 휴머노이드 제어를 위한 모션 언러닝
ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control
인간 시연을 활용한 휴머노이드 제어는 강화학습(RL)을 통해 다양하고 민첩하며 자연스러운 이동(locomotion) 행동을 달성해 왔다. 이 패러다임이 물리 세계 휴머노이드 제어에서 뛰어난 성능을 보여 주었지만, 학습된 정책에서 특정 동작을 제거하는 방법은 여전히 충분히 탐구되지 않았다. 이 문제를 다루는 동기는 긴급한 안전성 및 프라이버시 우려에서 비롯된다. 악의적이거나 오염된, 또는 차선의 동작뿐 아니라 GDPR과 같은 규정에 따른 잊혀질 권리(right to be forgotten)의 대상이 되는 저작권 보호 동작을 제거하는 것은 매우 중요하다. 이를 위해 우리는 물리 세계 휴머노이드 제어를 위해 특별히 설계된 최초의 모션 수준 언러닝 방법인 ForgetMimic을 제안한다. ForgetMimic의 핵심 아이디어는 다음과 같다. $N$개의 동작으로 학습된 정책 $\pi_\theta$가 주어졌을 때, 우리 방법은 목표 부분집합인 $K$개 동작에 대한 성능을 저하시키면서 나머지 $N-K$개 동작의 효과는 유지한다. 또한 우리는 로봇 제어에서 언러닝 실패로 이어지는 두 가지 핵심 학습 메커니즘을 식별하고 해결한다. Unitree G1 및 H2 휴머노이드 로봇에서 Dance, Fight, Flip 등 12가지 동작에 걸쳐 광범위한 실험을 수행했다. 실험 결과는 ForgetMimic이 지정된 동작에 대한 기억을 효과적으로 제거하면서 다른 모든 동작의 정상 동작을 유지함을 보여 준다.
PreUnlearn: 대규모 언어 모델 언러닝 이전 부수적 지식 손상 감사
PreUnlearn: Auditing Collateral Knowledge Damage Before Large Language Model Unlearning
대규모 언어 모델(LLM)의 머신 언러닝(machine unlearning)은 지정된 지식을 제거하면서 모델의 나머지 역량은 유지하는 것을 목표로 한다. 그러나 잊어야 할 지식과 유지해야 할 지식 사이의 경계는 종종 불명확한데, 관련 정보는 물론 멀리 떨어진 정보까지 모델 안에서 얽혀 있을 수 있기 때문이다. 본 논문에서는 데이터 중심 관점에서 LLM 언러닝을 연구하고, 언러닝 효과가 forget set에서 동일 도메인 및 원거리 도메인 지식으로 어떻게 전파되는지를 언러닝 이후가 아니라 이전에 측정한다. 우리는 일관된 감쇠 패턴을 발견한다: 부수적 손상은 forget set 근처에서 가장 강하고 의미적 거리에 따라 약해지지만, 도메인 경계에서 사라지지는 않는다. 또한 언러닝이 실행되기 전에 이러한 손상을 감사할 수 있는지를 묻는다. forget set 감사를 언러닝 전 예측 과제로 formulation하고, 어떤 데이터 특징이 하류 손상을 가장 잘 예측하는지 분석한다. 결과는 forget set와 평가 집합 사이의 상호작용 특징이 가장 강한 신호를 제공함을 보여주며, 부수적 손상이 모델 갱신이 일어나기 전 데이터 기하(data geometry)에 부분적으로 반영됨을 시사한다. 이러한 발견은 forget set 감사를 위험한 언러닝 실행을 식별하고 더 신뢰할 수 있는 언러닝 절차를 설计하기 위한 조기 경보 도구로 자리매김한다. 코드와 데이터는 https://github.com/BartSu/PreUnlearn 에서 이용할 수 있다.
GUARD: Guided Answer-Reasoning Distillation을 통한 대규모 추론 모델의 자연스러운 망각
GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation
최근 대규모 추론 모델(LRM)의 발전으로 머신 언러닝(machine unlearning)이 더욱 어려워졌는데, 이는 최종 답이 나오기 전 중간 사고의 연쇄(CoT) 경로에서 보호 대상 사실이나 안전하지 않은 근거가 드러날 수 있기 때문이다. 기존 언러닝 목적 함수는 대개 타깃 콘텐츠를 억제하거나 내부 표현을 재지향하지만, 망각 이후 궤적이 어떻게 이어져야 하는지는 명시하지 않아 환각(hallucination)에 기반한 대체물, 비정상적인 경계, 또는 반복적인 출력을 낳을 수 있다. 우리는 LRM 언러닝이 원래의 공개를 대체하는 일관된 비공개 CoT와 이에 이어지는 안정적인 거절 형태의 답변으로 이루어진 자연스러운 망각 궤적을 학습해야 한다고 주장한다. 이를 위해 모델이 생성한 안전하지 않은 공개를 안전한 종료(safe-exit) 궤적으로 바꾸고, 안내 토큰(guidance token)으로 동결된 LRM을 정렬(alignment)한 뒤, 이렇게 유도된 행동을 모델 파라미터로 증류(distillation)하는 GUARD(Guided Answer-Reasoning Distillation)를 제안한다. 유출 여부를 넘어 대체 품질을 재는 지표가 부족한 문제를 위해, 망각된 출력의 구조적 안정성, 유창성, 근거 없는 대체물을 반영하는 NFRS(Natural Forgetting Reasoning Score)를 도입한다. R-TOFU와 STAR-1 기반 유해 의도 설정에 대한 광범위한 실험에서 GUARD는 널리 쓰이는 두 증류 LRM에서 안전하지 않은 공개와 개인정보 유출을 크게 줄이면서 추론 유용성을 유지함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.