BARRIER: 강건한 정보 삭제를 위한 경계 활성화 영역
BARRIER: Bounded Activation Regions for Robust Information Erasure
한국어 초록
머신 언러닝(machine unlearning)은 학습된 모델에서 목표로 하는 개념을 제거하면서 나머지 지식은 보존하는 것을 목표로 한다. 이 설정의 핵심 과제는 효과적이고 강건한(robust) 삭제를 위해서는 광범위한 매개변수 업데이트가 필요하며, 이로 인해 보존되어야 할 표현(representation)이 의도치 않게 변경될 수 있다는 점이다. 그 결과, 기존 방법들은 중립적인 개념의 보호에 대한 형식적 보장이 없기 때문에 삭제 강도와 보존 사이에서 흔히 트레이드오프를 겪는다. 이를 해결하기 위해, 우리는 식별된 활성화 공간 제어 영역 내에서 업데이트를 수행함으로써 더 집중적인 언러닝을 가능하게 하는 방법인 BARRIER(Bounded Activation Regions for Robust Information Erasure)를 제안한다. 이 영역 내에서는 제한된 부수적 저하(collateral degradation)로 목표 삭제를 수행할 수 있다. 구간 연산(interval arithmetic)을 사용하여 보호 영역에 대한 최악의 경우 표현 변화에 대한 닫힌 형태(closed-form)의 상한을 구하고, 이를 지식 보존 목표로 사용한다. 우리는 이러한 보호와 그것이 기능적 변동(functional drift)에 미치는 영향에 대한 형식적 분석을 제공한다. BARRIER는 원칙에 기반하고(principled), 아키텍처에 구애받지 않으며(architecture-agnostic), 기존의 삭제 목표(erasure objectives)와 호환된다. 실험적 평가는 BARRIER가 분류 및 생성 설정 전반에서 경쟁력 있는 성능을 달성하며, 일부 경우에는 눈에 띄는 향상을 보이면서도, 적대적 복구 공격(adversarial recovery attack)에 대해 강한 강건성을 유지함을 보여준다. 코드는 https://github.com/OneAndZero24/BARRIER 에서 확인할 수 있다.
원문 초록
Machine unlearning aims to remove targeted concepts from a trained model while preserving the rest of its knowledge. Central challenge of this setting is that effective and robust erasure requires extensive parameter updates, which can unintentionally alter representations that should be retained. As a result, existing methods often trade erasure strength for preservation, due to the lack of formal guarantees on the protection of neutral concepts. To address this, we propose BARRIER (Bounded Activation Regions for Robust Information Erasure), a method that enables more intensive unlearning by driving updates within an identified activation space control region, where target erasure can be performed with limited collateral degradation. Using interval arithmetic, we obtain a closed-form bound on the worst-case representation change over protected regions and use it as a knowledge preservation objective. We provide a formal analysis of this protection and its effect on the functional drift. BARRIER is principled, architecture-agnostic, and compatible with existing erasure objectives. Empirical evaluations demonstrate that BARRIER achieves competitive performance across classification and generative settings, including notable gains in some cases, while maintaining strong robustness against adversarial recovery attacks. Our code is available at https://github.com/OneAndZero24/BARRIER.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
MRCert: 유형별 마스킹을 통한 적대적 패치 적용 샘플의 배포 후 패치 강건성 인증 기법
MRCert: Towards Post-deployment Patch Robustness Certification for Adversarially Patched Samples via Type-specific Masking
배포 후 단계에서 심층 학습(deep learning) 모델에 입력되는 데이터는 적대적 패치가 적용되었을 수도 있고 그렇지 않을 수도 있습니다. 패치 경계 내에서 이러한 입력에 대한 패치 강건성 인증은 라벨의 무해성(benignity)을 검증할 수 있으며 높은 예측 정확도를 유지해야 합니다. 그러나 기존의 스무딩(smoothing) 기반 및 마스킹(masking) 기반 복구 방어 기법들은 이 두 가지를 동시에 달성하지 못합니다. 즉, 전자는 예측 정확도를 크게 저하시키고, 후자는 적대적 패치가 적용된 입력에 대해 반환된 라벨의 무해성을 검증할 수 없습니다. 본 연구에서는 두 목표를 모두 달성할 수 있는 타당성을 보여주는 최초의 마스킹 기반 인증 복구 방어 기법인 MRCert를 제안합니다. 인증을 위해 두 유형의 입력(무해한 샘플 및 적대적 패치가 적용된 샘플) 전체에 공통 조건을 적용하는 기존의 모든 연구와 달리, MRCert는 배포 후 단계에서 두 유형에 대한 심층 학습 모델의 유형별 필수 속성을 추론하고, 라벨 복구 및 인증 함수 쌍의 새로운 유형 지향 설계를 통해 라벨 무해성을 검증하도록 이들을 정형적으로 연결합니다. 실험 결과에 따르면 MRCert는 스무딩으로 인한 클린 정확도 저하를 유발하지 않으면서도 패치 크기 16픽셀의 ImageNet에서 35.1%의 적대적 인증 정확도를 달성한 반면, 최고 성능(SOTA)의 PatchCURE는 완전히 실패함을 확인했습니다.
머신 언러닝을 위한 수학적 인증서에서 실행 가능한 인증서로
From Mathematical to Executable Certificates for Machine Unlearning
머신 언러닝(Machine Unlearning)은 삭제 요청, 오래된 기록, 또는 데이터 품질 문제로 인해 데이터를 제거해야 할 때 필요하지만, 처음부터 다시 학습시키는 것은 비용이 많이 들 수 있다. 인증된 머신 언러닝 방법은 수학적 보장을 제공하지만, 실제 배포되는 시스템은 소프트웨어가 생성한 구체적인 유한 정밀도 산출물을 릴리스한다. 수학적 보장과 실제 배포 사이의 간극을 메우기 위해, 우리는 릴리스 시점에서 릴리스 대상으로 고려되는 후보 산출물을 인증하는 층인 실행 가능 릴리스 인증(Executable Release Certification, ExecCert)을 제안한다. ExecCert는 실행된 후보에 대해 해당 방법의 고유 인증서를 완결짓거나, 현재의 보존 집합(retain-set) 재학습에 대한 충실도를 인증하기 위해 재학습-참조 릴리스 검증(Retraining-Reference Release Verification, RRV)을 적용한다. 순차적 삭제는 정확한 보존 집합 참조와 저장된 수치 상태가 서로 별개로 변화하기 때문에 후자를 간단하지 않게 만든다. 고정된 표현에 가변적인 릿지 헤드(ridge head)를 사용하는 경우에 대해, 우리는 매 릴리스마다 다시 구성하는 대신 삭제 요청 전반에 걸쳐 인증된 근거를 유지하는 RRV의 증분적 구현 방식을 개발한다. 공개된 4개의 언러닝 구현에 대해, ExecCert는 유효한 인증서를 보존하고, 릴리스 결정을 변경하며, 보수적인 경계를 더 조이고, 구체적인 출력으로 뒷받침되는 재학습-참조 충실도를 식별한다. 순차적 서비스 실험에서, RRV는 저장된 수식 기반 검증으로 인한 거짓 릴리스를 제거하면서도 실제 발생한 오차를 밀접하게 추적하며, 증분 인증은 릴리스 점검이 충분히 빈번해지면 매번 새로 계산하는 방식과 유지 관리되는 검증된 인수(verified-factor) 대안 방식 모두보다 비용이 더 저렴하게 유지된다.
CalCErt: 의료 이미지 분류에서 신뢰도 보정의 구간별 인증
CalCErt: Bin-wise Certification of Confidence Calibration in Medical Image Classification
심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.
ShatterQuant: 시스톨릭 트랜스포머 하드웨어 가속기에서 블록 단위 혼합 정밀도를 통한 균일 정밀도의 한계 극복
ShatterQuant: Breaking Uniform Precision with Block-Wise Mixed-Precision on a Systolic Transformer Hardware Accelerator
기존 가속기에서 텐서(tensor) 내 이종 정밀도 지원이 제한적이기 때문에, 신경망(neural network) 양자화(quantization)는 주로 텐서별 정밀도 할당에 국한되어 왔다. 본 논문에서는 가중치(weight) 프로젝션 블록에 독립적인 비트 폭을 할당함으로써 각 텐서 내에서 혼합 정밀도(mixed-precision) 양자화를 가능하게 하는 하드웨어-소프트웨어 통합 설계 프레임워크인 ShatterQuant를 제시한다. ShatterQuant는 정밀도 단위와 PE(Processing Element) 구성을 결합하여 각 정밀도가 유효 블록 높이를 결정하도록 한다. 우리는 (1) 블록 수준의 표준편차와 가중치 민감도를 기반으로 텐서 내 정밀도를 할당하는 하드웨어 인식 사후 학습(post-training) 기법, (2) 1/2/4/8비트 가중치 정밀도, 정밀도 의존적 PE 구성, 블록 재스케일링, 통합된 소프트맥스(softmax) 및 구분적 선형 비선형성을 지원하는 ShatterQuant 트랜스포머 가속기, 그리고 (3) 1 GHz로 동작하는 TSMC 16nm PDK 구현을 통해 모델-하드웨어 트레이드오프를 평가하여 1.5 TOPS, 760 GOPS/$mm^2$ 면적 효율, 2.8 TOPS/W 에너지 효율을 달성한 결과를 소개한다. DeiT 및 ImageNet-1K에서 ShatterQuant는 2비트 더 낮은 유효 비트 폭을 사용하면서도 최신 혼합 정밀도 기법 대비 $3.3\%$ 이내의 정확도를 달성하며, PixelDiT에 대해서는 동등한 수준의 생성 품질을 보여준다. ShatterQuant는 하드웨어-소프트웨어 통합 설계를 통해 미세한 텐서 내 혼합 정밀도가 어떻게 실현될 수 있는지를 입증한다.
잠재 주파수 마스킹에 대한 생성형 이미지 워터마크의 취약점 탐색
Exploring Weaknesses of Generative Image Watermarks against Latent Frequency Masking
보이지 않는 워터마킹(invisible watermarking)은 AI 생성 이미지를 추적하는 핵심 도구가 되었으나, 적응형 제거 공격에 대한 견고성(robustness)은 여전히 미해결된 보안 과제로 남아 있습니다. 본 논문에서는 워터마크가 적용된 이미지의 잠재 표현(latent representation)에서 선택된 푸리에 계수(Fourier coefficients)를 대체하여 워터마크 흔적을 지우는 공격 방식인 잠재 주파수 마스킹(Latent Frequency Masking)을 소개합니다. 대체할 값은 효율성을 위해 가우시안 노이즈(Gaussian noise)에서 샘플링하거나, 이미지 보존성을 높이기 위해 확산 재성형(diffusion regeneration)을 통해 도출할 수 있습니다. 또한 재구성된 적대적 이미지와 마스킹된 잠재 주파수 섭동(perturbation) 사이의 변화를 연계하는 이론적 왜곡 경계(distortion bound)를 제시합니다. 제안된 공격 기법을 DiffusionDB 및 MS-COCO 프롬프트로 생성된 이미지에 대해 6가지 확산 워터마킹 방식을 대상으로 평가합니다. 잠재 주파수 마스킹은 시각적 품질을 보존하고 기존 공격 기법 대비 우수한 실행 시간을 달성하면서 여러 워터마크를 제거하거나 대폭 약화시킵니다. 이러한 결과는 잠재 주파수 조작이 실질적인 공격 표면(attack surface)임을 입증하며, 생성형 이미지 워터마킹의 견고성 평가에 이러한 공격을 포함해야 할 필요성을 강조합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.