심층 렐루(ReLU) 네트워크의 강건성에 대한 이론적 하한
Theoretical Lower Bounds on the Robustness of Deep ReLU Networks
한국어 초록
본 논문에서는 무작위 입력 섭동(random input perturbation)에 대한 매개변수화된 신경망의 강건성에 대한 이론적 연구를 제시합니다. 구체적으로, 주어진 입력의 무작위 $L_2$-섭동이 올바른 분류(classification) 결과를 도출할 확률을 정량화하여 국소 강건성(local robustness)을 분석합니다. 심층 렐루(ReLU) 네트워크에 대해, 고차원 기하학의 도구, 특히 측도 집중 현상(concentration of measure)과 입력-출력 함수에 의해 유도되는 기하학적 구조의 새로운 특성화를 결합하여 국소 강건성의 하한을 도출합니다. 네트워크의 깊이나 아키텍처와 관계없이, 렐루 네트워크에 의해 유도된 입력 공간의 분할에서 각 볼록 다포체(convex polyhedral) 영역은 기껏해야 네트워크 유닛 수만큼의 면을 가짐을 증명합니다. 이러한 기하학적 특성은 본 연구의 강건성 분석에서 핵심적인 요소로 작용합니다. 마지막으로 국소 강건성이 입력 차원에 따라 어떻게 스케일링되는지 분석하고 이웃 영역에 적대적 예제(adversarial example)가 포함될 가능성이 가장 높은 입력 집합들을 특성화합니다. 취약한 지점을 포함하는 결정 경계 이웃의 너비는 차원이 증가함에 따라 급격히 줄어들고 네트워크 유닛 수에 대해서는 로그 형태로만 증가함을 보입니다. 또한 결정 경계의 대략적인 공간 채움 형태(space-filling shapes) 관점에서 취약한 지점 집합의 부피에 대해 논의합니다.
원문 초록
We present a theoretical study of the robustness of parameterized neural networks to random input perturbations. Specifically, we analyze local robustness by quantifying the probability that a random L_2-perturbation of a given input results in a correct classification. For deep ReLU networks, we derive lower bounds on local robustness by combining tools from high-dimensional geometry, in particular concentration of measure, with a new characterization of the geometric structure induced by their input-output functions. We prove that each convex polyhedral region in the partition of the input space induced by a ReLU network has at most as many faces as there are network units, regardless of the network depth or architecture. This geometric property serves as the key ingredient in our robustness analysis. Finally, we analyze how local robustness scales with input dimension and characterize the sets of inputs whose neighborhoods are most likely to contain adversarial examples. We show that the width of decision-boundary neighborhoods containing vulnerable points shrinks rapidly as dimension increases and grows only logarithmically with the number of network units. We also discuss the volume of a set of vulnerable points in terms of approximately space-filling shapes of decision boundaries.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RAS: Measuring LLM Safety Through Refusal Alignment
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
Agent MechSuits: Mechanistic Subspace Safety Steering for Multi-Turn CLI Agents
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
RedPhys: An Extensible Red-Teaming Platform for Physical-World Models and Agents
USAD: 불확실성 인식 통계적 적대적 탐지
USAD: Uncertainty-aware Statistical Adversarial Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
15 pages, 4 figures