MRCert: 유형별 마스킹을 통한 적대적 패치 적용 샘플의 배포 후 패치 강건성 인증 기법
MRCert: Towards Post-deployment Patch Robustness Certification for Adversarially Patched Samples via Type-specific Masking
한국어 초록
배포 후 단계에서 심층 학습(deep learning) 모델에 입력되는 데이터는 적대적 패치가 적용되었을 수도 있고 그렇지 않을 수도 있습니다. 패치 경계 내에서 이러한 입력에 대한 패치 강건성 인증은 라벨의 무해성(benignity)을 검증할 수 있으며 높은 예측 정확도를 유지해야 합니다. 그러나 기존의 스무딩(smoothing) 기반 및 마스킹(masking) 기반 복구 방어 기법들은 이 두 가지를 동시에 달성하지 못합니다. 즉, 전자는 예측 정확도를 크게 저하시키고, 후자는 적대적 패치가 적용된 입력에 대해 반환된 라벨의 무해성을 검증할 수 없습니다. 본 연구에서는 두 목표를 모두 달성할 수 있는 타당성을 보여주는 최초의 마스킹 기반 인증 복구 방어 기법인 MRCert를 제안합니다. 인증을 위해 두 유형의 입력(무해한 샘플 및 적대적 패치가 적용된 샘플) 전체에 공통 조건을 적용하는 기존의 모든 연구와 달리, MRCert는 배포 후 단계에서 두 유형에 대한 심층 학습 모델의 유형별 필수 속성을 추론하고, 라벨 복구 및 인증 함수 쌍의 새로운 유형 지향 설계를 통해 라벨 무해성을 검증하도록 이들을 정형적으로 연결합니다. 실험 결과에 따르면 MRCert는 스무딩으로 인한 클린 정확도 저하를 유발하지 않으면서도 패치 크기 16픽셀의 ImageNet에서 35.1%의 적대적 인증 정확도를 달성한 반면, 최고 성능(SOTA)의 PatchCURE는 완전히 실패함을 확인했습니다.
원문 초록
In post-deployment time, inputs to deep learning models may or may not be adversarially patched. Patch robustness certification on such inputs within a patch bound can verify their label benignity and should retain high prediction accuracy. However, existing smoothing-based and masking-based recovery defenders cannot achieve both simultaneously: they degrade the prediction accuracy much and cannot verify the benignity of the returned label of an adversarially patched input, respectively. We propose MRCert, the first masking-based certified recovery defender that shows the feasibility of achieving both. Unlike all existing works to apply a common condition across both types of input (benign and adversarially patched samples) for certification, MRCert infers type-specific necessary properties of deep learning models for both types in post-deployment time and formally relates them to verify the label benignity through a novel type-oriented design of label recovery and certification function pair. Without incurring the degradation in clean accuracy caused by smoothing, experimental results confirm that MRCert achieves 35.1\% adversarial certified accuracy on ImageNet at patch size 16 pixels, whereas the SOTA PatchCURE fails completely.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
정규화가 부호를 선택할 때: 양자 어텐션에서의 견고성 소거 연구 검증
When Normalization Selects the Sign: Auditing Robustness Ablations in Quantum Attention
입력 스케일링 모듈을 제거하면 분류기(classifier)와 인코더에 도달하는 섭동(perturbation)이 모두 변경됩니다. 따라서 견고성(robustness)의 차이는 모듈 자체뿐만 아니라 비교 규칙을 반영할 수도 있습니다. 본 연구에서는 생성된 전력망 궤적 데이터에 대한 4큐비트 양자 어텐션 검출기에서 이러한 문제를 입증합니다. 학습된 스케일링 모듈은 고정된 물리적 공격 예산 하에서는 유익한 것처럼 보이지만, 인코더에서의 섭동 상한을 일치시키면 그 순위가 역전됩니다. 두 비교 중 어느 하나만으로는 모듈로 인한 견고성 이점을 입증할 수 없습니다. 또한 초기 테스트는 깨끗한 예시(clean example)의 원래 레이블을 유지한 채 공격된 예시로 섭동을 가하지만, 이미 공격을 받은 예시로만 제한된 테스트에서는 이점이 입증되지 않습니다. 학습된 모델의 입력 스케일을 교체하면 검출 기능이 저하됩니다. 선형 분류 층을 재학습하면 검출률은 회복되지만 개별 예측이 변경되어, 해당 비교는 인과적이기보다는 기술적(descriptive)인 수준에 머무르게 됩니다. 두 가지 추가적인 설계 검증을 통해 입력 양자 피셔 정보 정규화기(quantum Fisher information regularizer)가 이 모델의 쿼리 파라미터를 학습시킬 수 없는 이유와, 신뢰 경계(confidence bound)를 제거하더라도 더 큰 인증된 반경(certified radius)을 입증하지 못하는 이유를 설명합니다. 본 연구의 실증적 근거는 10개의 시드, 정확한 시뮬레이션, 합성 데이터, 그리고 제한된 공격 세트에 국한되며, 고전적인 베이스라인이 더 우수한 정상 예측 성능을 달성합니다. 실질적인 교훈은 어떤 섭동 예산이 고정되어 있는지 명시하고, 공격이 레이블을 보존하는지와 개입이 예측을 보존하는지 확인하며, 탐색적 통제와 확증적 근거를 구분해야 한다는 점입니다.
CalCErt: 의료 이미지 분류에서 신뢰도 보정의 구간별 인증
CalCErt: Bin-wise Certification of Confidence Calibration in Medical Image Classification
심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어
Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다
JevOut: Natural Context Can Flip Decision Models
평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.