Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
원문 초록
It is broadly known that deep neural networks are susceptible to being fooled by adversarial examples with perturbations imperceptible by humans. Various defenses have been proposed to improve adversarial robustness, among which adversarial training methods are most effective. However, most of these methods treat the training samples independently and demand a tremendous amount of samples to train a robust network, while ignoring the latent structural information among these samples. In this work, we propose a novel Local Structure Preserving (LSP) regularization, which aims to preserve the local structure of the input space in the learned embedding space. In this manner, the attacking effect of adversarial samples lying in the vicinity of clean samples can be alleviated. We show strong empirical evidence that with or without adversarial training, our method consistently improves the performance of adversarial robustness on several image classification datasets compared to the baselines and some state-of-the-art approaches, thus providing promising direction for future research.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MRCert: 유형별 마스킹을 통한 적대적 패치 적용 샘플의 배포 후 패치 강건성 인증 기법
MRCert: Towards Post-deployment Patch Robustness Certification for Adversarially Patched Samples via Type-specific Masking
배포 후 단계에서 심층 학습(deep learning) 모델에 입력되는 데이터는 적대적 패치가 적용되었을 수도 있고 그렇지 않을 수도 있습니다. 패치 경계 내에서 이러한 입력에 대한 패치 강건성 인증은 라벨의 무해성(benignity)을 검증할 수 있으며 높은 예측 정확도를 유지해야 합니다. 그러나 기존의 스무딩(smoothing) 기반 및 마스킹(masking) 기반 복구 방어 기법들은 이 두 가지를 동시에 달성하지 못합니다. 즉, 전자는 예측 정확도를 크게 저하시키고, 후자는 적대적 패치가 적용된 입력에 대해 반환된 라벨의 무해성을 검증할 수 없습니다. 본 연구에서는 두 목표를 모두 달성할 수 있는 타당성을 보여주는 최초의 마스킹 기반 인증 복구 방어 기법인 MRCert를 제안합니다. 인증을 위해 두 유형의 입력(무해한 샘플 및 적대적 패치가 적용된 샘플) 전체에 공통 조건을 적용하는 기존의 모든 연구와 달리, MRCert는 배포 후 단계에서 두 유형에 대한 심층 학습 모델의 유형별 필수 속성을 추론하고, 라벨 복구 및 인증 함수 쌍의 새로운 유형 지향 설계를 통해 라벨 무해성을 검증하도록 이들을 정형적으로 연결합니다. 실험 결과에 따르면 MRCert는 스무딩으로 인한 클린 정확도 저하를 유발하지 않으면서도 패치 크기 16픽셀의 ImageNet에서 35.1%의 적대적 인증 정확도를 달성한 반면, 최고 성능(SOTA)의 PatchCURE는 완전히 실패함을 확인했습니다.
CalCErt: 의료 이미지 분류에서 신뢰도 보정의 구간별 인증
CalCErt: Bin-wise Certification of Confidence Calibration in Medical Image Classification
심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.
새로운 유형의 적대적 예제: 인간-모델 격차 측정 및 OOD 탐지와의 관계
A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection
거의 모든 적대적 공격은 모델을 속이기 위해 인지할 수 없는 교란(perturbation)을 추가한다. 우리는 반대를 연구한다: 인간이 더 이상 이미지를 인식하지 못하더라도 모델이 원래의 올바른 예측을 유지하게 만드는 크고 명확히 보이는 교란이다. 이전 연구는 이러한 예제를 대규모로 생성할 수 있음을 보여주었지만 세 가지 질문을 검증하지 않았다: 인간이 실제로 모델보다 성능이 더 나쁜지, 표준 분포 밖(out-of-distribution, OOD) 탐지 및 보정(calibration) 도구가 이를 포착하는지, 기존 방어 기법이 이를 완화하는지. 우리는 MNIST, CIFAR-10, ImageNet에서 세 가지 모두에 답한다. (i) 독립적인 인식기 프록시는 CIFAR-10에서 ~49%까지 떨어지는 반면 모델은 100%를 유지한다 — 소규모 인간 파일럿(N=5)이 직접 뒷받침하는 격차이며, 신호 손실로는 설명되지 않는다(동일 크기의 가우시안 대조군이 인식 가능성을 더 빠르게 저하시킴); CLIP 제로샷 프록시도 ImageNet 규모에서 동일한 격차를 확인한다. (ii) 신뢰도 및 에너지 기반 OOD 탐지기와 보정은 구조적으로 탐지하지 못한다(탐지율 0%, ECE ~= 0). 반면 특징(feature) 공간 Mahalanobis 탐지기는 100%를 탐지하지만, 적응형 공격자가 성공률 손실 없이 이를 회피한다. (iii) 적대적 학습(adversarial training, robust accuracy 45%)을 포함한 어떤 고전적 방어 기법도 공격 성공률을 낮추지 않는다(large-epsilon_l 저항성과의 상관 r ~= 0). 기계론적 분석은 추가로 이 공격이 엣지/형태 구조보다 저수준 텍스처를 훨씬 빠르게 파괴함을 보여준다.
지문 프레젠테이션 공격 탐지를 위한 캐스케이드 위조 채굴 네트워크
Cascade Forgery Mining Network for Fingerprint Presentation Attack Detection
지문 프레젠테이션 공격 탐지(PAD)는 무단 접근으로부터 보호하는 수단으로서 지문 식별 시스템의 핵심 구성 요소이다. 본 논문에서는 지문 이미지의 서로 다른 영역이 서로 다른 아티팩트 추출 난이도(AED, Artifact Extraction Difficulty)를 보일 수 있으며, 고-AED 영역은 더 미묘한 판별 증거를 포착하기 위해 더 정교한 추출 메커니즘이 필요함을 관찰한다. 이 문제를 해결하기 위해, 로컬 Gabor 특징 확실성을 사용하여 AED를 정량화하고 각 AED 값에 따라 지문 이미지를 여러 영역으로 분할하는 방법을 제안한다. 이어서 이질적인 AED 값을 갖는 영역 전반에서 더 정밀하고 포괄적인 아티팩트 증거를 탐지하기 위해 적응형 깊이 특징 추출 아키텍처를 사용하는 AED 유도 캐스케이드 위조 채굴 네트워크(CFM-Net)를 제안한다. 또한 원본 아티팩트 증거의 무결성을 보존하면서 PAD 특징에서 신원 정보를 걸러내기 위한 방향 유도 적대적 학습(OGAT, Orientation Guided Adversarial Training) 모듈을 도입한다. LivDet 데이터셋에 대한 실험적 평가는 최신(state-of-the-art) 방법 대비 본 접근법의 우수한 성능을 보여주며, 고 AED 지문의 분류 능력에서 유의미한 향상을 달성한다.
Evaluating the Performance of TAAF for image classification models
FewVS: A Vision-Semantics Integration Framework for Few-Shot Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.