CAFÉ: 머신 언러닝의 인과적 블랙박스 테스팅
CAFÉ: Causal Black-Box Testing of Machine Unlearning
한국어 초록
머신러닝 모델은 요구사항 변화에 따라 진화해야 하는 소프트웨어 컴포넌트로 점점 더 많이 배포되고 있습니다. 특정 학습(training) 기록이나 특징(feature)이 배포된 모델에 더 이상 영향을 미치지 않아야 할 때, 머신 언러닝(machine unlearning)은 처음부터 다시 학습하지 않고도 해당 영향을 제거하는 것을 목표로 합니다. 언러닝은 대체로 근사적(approximate)으로 이루어지므로, 그 효과를 테스트해야 합니다. 이러한 테스트는 종종 모델의 파라미터, 학습 이력, 언러닝 절차에 접근하지 않고 모델을 블랙박스로 다루어야 합니다. 특징은 추가적인 과제를 야기합니다. 즉, 특징이 모델 입력에서 제거된 후에도 후속(downstream) 특징을 통해 그 영향이 지속될 수 있습니다. 기존의 많은 검사는 특징의 직접적인 사용만을 검토하므로 해당 특징에 여전히 의존하는 모델을 잘못 인증할 수 있습니다. 본 연구에서는 언러닝 테스팅을 명세 기반 테스팅(specification-based testing)으로 공식화하고 CAFÉ를 제안합니다. CAFÉ는 배포된 모델의 예측만을 사용하여 특징에 개입(intervene)하고 변화를 후속 특징으로 전파하며 예측이 여전히 반응하는지 확인합니다. CAFÉ는 직접 및 간접 인과 경로 모두를 통해 대상의 잔여 영향을 측정하며, 세분화된 진단을 통해 어떤 채널과 하위 집단이 여전히 영향을 전달하는지 보여줍니다. 4가지 언러닝 방법을 적용한 2개의 인과 네트워크 벤치마크에서, CAFÉ는 잔여 영향의 순위를 0.92~0.93의 쌍별 정확도(pairwise accuracy)로 매겼으며, 이는 최대 0.71에 불과한 기존 검사와 대비됩니다. 기존 검사는 후속 특징을 통해 영향이 지속되는 모델을 통과시키거나 올바르게 언러닝된 모델을 결함으로 표시하는 등 양방향 모두에서 실패합니다. 실제 인구조사 데이터에서도 CAFÉ는 재학습 후에도 살아남았지만 직접 입력 검사로는 감지되지 않은 영향을 마찬가지로 드러냅니다.
원문 초록
Machine learning models are increasingly deployed as software components that must evolve as requirements change. When specific training records or features must no longer influence a deployed model, machine unlearning aims to remove that influence without retraining from scratch. Because unlearning is often approximate, its effectiveness must be tested. Such tests must often treat the model as a black box, without access to its parameters, training history, or unlearning procedure. Features pose a further challenge: even after a feature is removed from a model's inputs, its influence can persist through downstream features. Many existing checks examine only the feature's direct use and can therefore certify a model that still depends on it. We frame unlearning testing as specification-based testing and present CAFÉ, which, using only a deployed model's predictions, intervenes on the feature, propagates the change to its downstream features, and checks whether the predictions still respond. CAFÉ measures a target's residual influence through both its direct and indirect causal paths, and its fine-grained diagnostics show which channels and subgroups still carry it. On two causal-network benchmarks with four unlearning methods, CAFÉ ranks residual influence with 0.92--0.93 pairwise accuracy, against at most 0.71 for existing checks, which fail in both directions: they certify models whose influence persists through downstream features and flag correctly unlearned ones. On real census data, CAFÉ likewise exposes influence that survives retraining yet goes unnoticed by direct-input checks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성
Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts
시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.
텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크
Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
Deep Gaussian Processes on Directed Acyclic Graphs
유추는 인공의식에 대해 무엇을 말해줄 수 있는가?
What Can Analogy Tell Us About Artificial Consciousness?
누가 또는 무엇이 의식을 가지고 있는가? 주관적 경험은 1인칭 관점에서만 직접 접근할 수 있기 때문에, 다른 개체의 의식에 대한 판단은 부분적으로 유추(analogy)에 의존한다. 역사적으로 이러한 추론은 인간이 아닌 동물에 집중되어 왔으나, 인공지능(AI)의 발전으로 의식을 가진 AI의 가능성이 제기되었다. 본 논문에서는 이러한 증거적 유추를 평가하기 위한 인과적 프레임워크를 개발한다. 핵심적인 구분은 의식 생성에 관여할 가능성이 높은 요인들의 유사성과 하류(downstream) 행동 또는 인지적 효과에서의 유사성 사이의 차이다. 제안하는 프레임워크는 알려지지 않은 원인, 무력화 요인(disabling differences), 의식에 이르는 대안적 경로를 고려하면서 인과적 관련성에 따라 원천-목표(source-target) 유사성에 가중치를 부여한다. 생물학적 시스템에 적용했을 때, 이는 인간과의 인과적 거리가 멀어질수록 유추적 지지가 전반적으로 약화되는 이유를 설명한다. 현대 AI에 적용했을 때, 이는 관련 인과적 대응 관계가 여전히 명확히 확립되지 않았기 때문에 행동적 유사성만으로는 의식에 대한 제한적인 증거만을 제공함을 시사한다. 또한 이 프레임워크는 어떤 증거가 인공의식에 대한 주장을 강화할 수 있는지를 명확히 밝힌다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.